물흐르듯 개발하다 대박나기

폴더에서 hdfs로 이동 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 로컬폴더 -> hdfs 설정파일 생성 설정 flume 실행 input 데이터 추가 확인 결과 로컬폴더 -> hdfs (세부 설정 추가) 설정파일 생성 설정 flume 실행 input 데이터 추가 확인 결과 shell 실행 명령어를 이용해서 hdfs에 적재 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 설정 파일 생성 설정 command -> flume_input 안의 README.txt 파일 읽기 flume 실행 input 데이터 추가 확인 shell명령어를 통해 실행하면 COMPLETED..

회원 서비스 package kr.example.spring.service; import kr.example.spring.domain.Member; import kr.example.spring.repository.MemberRepository; import java.util.List; import java.util.Optional; public class MemberService { private final MemberRepository memberRepository = new MemoryMemberRepository(); // 회원 가입 public Long join(Member member) { // 같은 이름이 있는 중복 회원 X validateDuplicateMember(member); // 중복 ..

Flume > Apach의 오픈소스 프로젝트로 대용량의 로그를 수집할 수 있도록 여러가지 기능을 제공하는 프로그램 개요 로그 수집을 위한 프로그램 flume, chukwa, scribe, fluentd, splunk 등이 같은 종류의 프로그램 여러 곳에 위치하는 로그를 하나로 모을 수 있다. 로그를 배치로 한꺼번에 보내는 것이 아니라 스트리밍하게 지속적으로 보낸다. 메모리가 확보 비동기 방식 로그수집 Thread와 로그를 전송하는 Thread가 별도로 실행한다. flume의 구성요소 Agent가 관리 flume은 여러가지 유형으로 Agent를 구성할 수 있다. source와 sink, channel등의 구성요소는 반드시 설정 작업을 해야 한다. source : 데이터가 유입되는 지점, 다양한 시스템의 데..

/etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO="none"으로 수정 게이트웨이 확인 dns 확인 설정 추가 네트워크 재시작

Sqoop sqoop은 Apache Hadoop과 RDBMS사이에 data를 효율적으로 이동할 수 있도록 지원되는 도구 sql to hadoop의 약자 Sqoop 사용하기 다운로드 압축풀기 .bashrc에 환경설정정보 등록 오라클 연동을 위해서 ojdbc6.jar를 sqoop_home/lib에 복사 다운로드 sqoop.apache.org 설치 Shell(bash)설정 /etc/profile - 부팅시 적용되는 파일 (root) /home/사용자계정/.bash_profile : 각 계정에 로그인할 때 로드 /home/사용자계정/.bashrc : 로그인 한 상태에서 터미널을 열면 실행 sqoop을 사용하기 위해 path 설정 db사용을 위해 JDBC 라이브러리 복사 /home/사용자계정/sqoop폴더/lib..

> 텍스트를 검색하거나 치환하거나 텍스트 안에서 특정 문자열을 추출하려고 할때 사용 특수문자나 기호로 만들어진 패턴이라고 생각 1. 자바 API String클래스의 matches메소드 java.util.regex패키지의 클래스를 이용해서 작업 1) Pattern클래스 - 패턴 문자열을 관리하고 패턴을 정의할 때 사용 2) Matcher클래스 - 패턴과 일치하는 문자열을 관리하기 위한 클래스 find() - 패턴이 만족하는지 확인 (true | false) group() - 일치하는 패턴문자열 리턴 start() - 매칭되는 패턴의 start인덱스 end() - 매칭되는 패턴의 end index+1 package pattern.test; import java.util.regex.Matcher; import..

다중 출력 > - 다중출력 - 구분값에 따라서 여러 개의 결과 파일을 출력할 때 사용 - GenericOptionParser의 -D옵션에 정의한 구분속성에 따라서 각각의 output파일이 생성될 수 있도록 작업 1. Mapper - GenericOptionParser테스트할 때와 동일하게 구현 단, 각각의 작업을 구분할 수 있도록 outputkey에 구분 문자열을 추가한다. 2. Reducer - mapper가 보내오는 출력 데이터에서 구분자 별로 개별 output파일이 생성될 수 있도록 처리 - setup메소드 : 리듀서가 처음 실행될 때 한번 실행되는 메소드 MultipleOutputs를 선언하고 생성할 수 있도록 처리 - reduce메소드 : MultipleOutputs객체의 write를 호출해서 ..

하둡 설정 변경 core-site.xml : 도메인 -> ip 로 변경 hdfs-site.xml : 도메인 -> ip로 변경 , permissions 처리 추가 mapred-site.xml : 도메인 -> ip로 변경 staging.root.dir -> 외부에서 접근하는 디렉토리 설정 hadoop02, hadoop03, hadoop04 머신에 설정파일 복사 확인 (03,04 반복) hadoop 실행 확인 이클립스에 연결하기 hadoop01 머신의 하둡 폴더의 라이브러리와 설정파일을 복사 프로젝트에 라이브러리 등록 (java 프로젝트 이므로 등록해줘야 한다.) 설정파일 등록 추가한 라이브러리중 jar 가 아닌 파일때문에 오류발생 오류해결 Driver 파일 선택 적용 후 실행 명령형 매개변수 입력 경로는 항..