빅데이터 플랫폼 구축 #9 - 이클립스에서 namenode 연결, 하둡 사용

하둡 설정 변경

• core-site.xml : 도메인 -> ip 로 변경

• hdfs-site.xml : 도메인 -> ip로 변경 , permissions 처리 추가

• mapred-site.xml : 도메인 -> ip로 변경

• staging.root.dir -> 외부에서 접근하는 디렉토리 설정

• hadoop02, hadoop03, hadoop04 머신에 설정파일 복사

• 확인 (03,04 반복)

• hadoop 실행

• 확인

이클립스에 연결하기

• hadoop01 머신의 하둡 폴더의 라이브러리와 설정파일을 복사

• 프로젝트에 라이브러리 등록 (java 프로젝트 이므로 등록해줘야 한다.)

• 설정파일 등록

• 추가한 라이브러리중 jar 가 아닌 파일때문에 오류발생

• 오류해결

• Driver 파일 선택

• 적용 후 실행

• 명령형 매개변수 입력

• 경로는 항상 절대경로로 해야한다. 상대경로는 현재 윈도우의 홈을 찾으므로 에러가 난다.

• 생성한 mapreduce jar 파일 등록

• 생성한 jar파일 등록(등록하지 않으면 classNotFound 에러 발생)

• Driver 실행

• 확인