물흐르듯 개발하다 대박나기

NASDAQ 데이터 분석 첨부 파일을 HDFS의 inputdata폴더를 작성하고 put한 후 작업합니다. 출력결과 :/mywork/nasdaq 패키지명 : mapred.exam.stock StockMapper.java, StockReducer,StockDriver.java exchange => 거래구분 stock_symbol =>주식종목명(약칭) date => 거래일자 stock_price_open => 시가 stock_price_high =>최고가 stock_price_low =>최저가 stock_price_close => 종가 stock_volume =>거래량 stock_price_adj_close =>조정금액 상승마감한 것들이 년도별로 몇 건인지 조회하세요 [결과] 분석할 파일을 hdfs의 /inp..

java 설치 hadoop은 java로 만들어져 있으므로 java를 설치 해야한다 https://www.oracle.com/java/ rpm -> 설치 버전 tar.gz -> 압축 버전 sts 에서 윈도우 -> hadoop01 머신 파일 전송 local에 있는 파일을 hadoop01로 전송할 수 있다. 윈도우에서 받은 jdk를 hadoop폴더로 전송 파일 전송 확인 rpm 파일 설치 rpm 으로 설치하는 프로그램은 usr폴더에 설치된다. hadoop02, hadoop03, hadoop04로 jdk 파일 복사 hadoop02, hadoop03, hadoop04로 jdk 파일 설치 root계정의 home디렉토리는 root폴더이므로 경로를 지정하지 앟아도 rpm명령어를 바로 실행 할 수 있다. Hadoop 설..

3. 가상머신 복제하기 - 가상머신이 네 대 있다 가정하고 네 개의 가상머신을 만들어준다. : ip확인 머신 복제하기 문서\Virtual Machines - 폴더를 복사 VMware에서 머신 열기 머신 이름 변경 hadoop01 실행 root계정 로그인 터미널 열기 인터넷 연결 확인 VMWare 실행 hadoop02 실행 root 계정 로그인 머신 ip 다른지 확인 hadoop03 , hadoop04 머신 실행 ip 다른지 확인 머신 간 연결 확인하기 hadoop01 머신에서 hadoop02 머신 연결 hostname 변경하기 각 머신 이름으로 변경 변경 확인 4. 하둡 서버를 구축하기 위한 클러스터링 설정하기 방화벽이 설정되어 있으면 하둡 실행이 안된다. 현재 실행중인 서비스 리스트 방화벽 상태정보 방..

2. vmware 가상머신 설치하기 - CentOS 7버전을 설치한다. CentOS 설치 영어 키보드 추가 ROOT 암호 설정, 사용자 계정 설정 라이센스 동의 설정완료 루트계정 로그인 기본설정 -> 다음 인터넷 연결 확인 네트워크 -> 유선연결됨 확인 프로그램 -> 파이어폭스 머신 종료