물흐르듯 개발하다 대박나기

hdfs의 데이터를 spark로 실행해서 hdfs에 적재 테스트 데이터 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 package bigdata.spark.basic; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; publ..

> 1. GenericOptionParser 활용 - hadoop을 실행할 때 -D옵션과 함께 속성=속성값을 입력하면 Mapper에서 이 정보를 사용할 수 있도록 정의 - commons-cli-xxx.jar 라이브러리를 추가(하둡 설치폴더 안 lib에 있음) 1) Mapper작성 - setup메소드 : Mapper가 실행될 때 한 번만 실행되는 메소드 - 하둡을 실행할 때 -D옵션과 함께 입력한 속성명을 지정하면 입력했던 속성값을 추출할 수 있다. - Configuration객체를 이용해서 작업 2) Reducer - 동일 3) Driver - 실행할 때 사용자가 입력한 옵션을 이용할 수 있도록 설정해야 하므로 기존 방식을 모두 변경 - 사용자정의 옵션을 사용하기 위한 작업(command line에 사용..

NASDAQ 데이터 분석 첨부 파일을 HDFS의 inputdata폴더를 작성하고 put한 후 작업합니다. 출력결과 :/mywork/nasdaq 패키지명 : mapred.exam.stock StockMapper.java, StockReducer,StockDriver.java exchange => 거래구분 stock_symbol =>주식종목명(약칭) date => 거래일자 stock_price_open => 시가 stock_price_high =>최고가 stock_price_low =>최저가 stock_price_close => 종가 stock_volume =>거래량 stock_price_adj_close =>조정금액 상승마감한 것들이 년도별로 몇 건인지 조회하세요 [결과] 분석할 파일을 hdfs의 /inp..

java project 생성 Ant를 통해서 jar 파일과 zip파일을 생성하는 코드 hadoop01에서 하둡을 실행하기 위한 jar 파일 가져오기 라이브러리 추가 HDFSTest01 : 사용자가 정의한 경로에 텍스트 파일을 생성하는 클래스 package hdfs.exam; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; /* * hdfs(하둡의 분산 파일 시스템)를 제어 - hado..