물흐르듯 개발하다 대박나기

폴더에서 hdfs로 이동 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 로컬폴더 -> hdfs 설정파일 생성 설정 flume 실행 input 데이터 추가 확인 결과 로컬폴더 -> hdfs (세부 설정 추가) 설정파일 생성 설정 flume 실행 input 데이터 추가 확인 결과 shell 실행 명령어를 이용해서 hdfs에 적재 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 설정 파일 생성 설정 command -> flume_input 안의 README.txt 파일 읽기 flume 실행 input 데이터 추가 확인 shell명령어를 통해 실행하면 COMPLETED..

Flume > Apach의 오픈소스 프로젝트로 대용량의 로그를 수집할 수 있도록 여러가지 기능을 제공하는 프로그램 개요 로그 수집을 위한 프로그램 flume, chukwa, scribe, fluentd, splunk 등이 같은 종류의 프로그램 여러 곳에 위치하는 로그를 하나로 모을 수 있다. 로그를 배치로 한꺼번에 보내는 것이 아니라 스트리밍하게 지속적으로 보낸다. 메모리가 확보 비동기 방식 로그수집 Thread와 로그를 전송하는 Thread가 별도로 실행한다. flume의 구성요소 Agent가 관리 flume은 여러가지 유형으로 Agent를 구성할 수 있다. source와 sink, channel등의 구성요소는 반드시 설정 작업을 해야 한다. source : 데이터가 유입되는 지점, 다양한 시스템의 데..