물흐르듯 개발하다 대박나기

hdfs의 데이터를 spark로 실행해서 hdfs에 적재 테스트 데이터 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 안녕하세요!! 스파크 입니다 package bigdata.spark.basic; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; publ..

Simple WordCount Scala의 Tuple자료형을 사용 테스트 데이터 cat dog .org cat cat && tiger dog 100 tiger cat package bigdata.spark.basic; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import scala.Tuple2; public class JavaPairRDDTest { public static void main(String[] args) { SparkConf sparkConf = new Spar..

Spark 분석엔진 하둡보다 100배이상 빠름 spark를 개발할 수 있는 언어는 scala, java, python, R spark라이브러리는 spark core, spark sql, spark streaming, MLlib(머신러닝), GraphX spark는 대규모 데이터의 처리를 위한 통합 분석 엔진 spark의 구성요소 SparkContext( JavaSparkContext ) : spark가 동작하기 위해서 필요한 기본 정보를 가지고 있는 객체로 spark가 제공하는 다양한 서비스와 기능을 직접 사용할 수 있는 기본 클래스 RDD(Resilient Distributed DataSet) 스파크에서 사용하는 기본 데이터 구조 스파크에서는 내부적으로 사용하고 처리하는 모든 데이터를 RDD타입으로 처..

설치 http://spark.apach.org 버전에 맞도록 다운 압축 해제 스파크 실행(scala) document http://spark.apache.org/documentation.html 환경변수 설정(.hashrc) 임시적용 설정 sbin : 실행할 수 있는 shell파일들 master실행 hadoop이 실행 중 이어야 함 spark master 관리 페이지 slave실행 (설정 전) worker는 1개가 기본값 master, slave 종료 세팅 파일 생성 master , slave 재실행 확인 프로젝트 생성 spark dependency (spring버전 4.2.4) org.apache.spark spark-core_2.10 1.4.1 테스트 데이터 생성 < SparkTestStep1.jav..