빅데이터 플랫폼 구축 #19 - Spark : HDFS 활용

hdfs의 데이터를 spark로 실행해서 hdfs에 적재

• 테스트 데이터

< test.txt >

안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다
안녕하세요!! 스파크 입니다

< SparkTestStep2.java >

package bigdata.spark.basic;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

public class SparkTestStep2 {
	public static void main(String[] args) {
		SparkConf conf = new SparkConf();
		conf.setAppName("firstProgramming");
		conf.setMaster("local");
		JavaSparkContext sparkContext = new JavaSparkContext(conf);
		
		// 1. hdfs에서 파일 읽기
		JavaRDD<String> textRDD 
			= sparkContext.textFile("hdfs://192.168.111.129:9000/spark/test.txt");
		
		// 2. 파일 데이터를 처리 - 내부에서 메모리에 적재하고 처리
		textRDD.foreach(line -> System.out.println(line));
		
		// 3. 결과를 hdfs에 저장하기
		textRDD.saveAsTextFile("hdfs://192.168.11.129:9000/spark/result1");
	}
}

• jar 파일 export

• jar파일과 test.txt파일을 hadoop01머신으로 복사

• 하둡, 스파크 실행

• 확인

• HDFS에 test.txt 파일 넣기

• 스파크 실행

• 결과