물흐르듯 개발하다 대박나기

Multi Node Cluster( 완전 분산 모드) master, worker1, worker2 실행 도메인 설정( master, worker1, worker2 모두 설정) hostname으로 ping 확인 NFS 설정 추가(master) nfs서버 재시작 nfs서버 mount(worker1, worker2) ssh 설정 ( master, worker1, worker2) ssh restart 공개키 생성 worker1 ssh 서버 설치 master 와 같이 설정 worker2 ssh 서버 설치 master 와 같이 설정 key 복사 하둡은 각 노드에서 데이터를 처리한 후 재조합 하여 다시 분석을 한다. 노드간 데이터 이동 시 보안을 위해 ssh 를 사용. 노드 이동을 위해 키 값들을 각 노드에 복사한다..

Hadoop 하둡에 붙여서 쓰는 것 : 에코 시스템 Single Node : Hadoop Single Node Cluster : NameNode, DataNode를 1대로 Multi Node Cluster : NameNode 1대, DataNode 3대 짝수로 써야함 Hadoop 설치 https://hadoop.apache.org/releases.html 세팅 추가 설치 확인 Single Node 단독모드 mapreduce wordcount 사용하기 단어 횟수 분석 성공하면 _SUCCESS가 뜸 결과 결과 디렉터리가 있으면 에러가 나므로 같은 디렉토리를 쓰려면 삭제해야한다 Single Node Cluster 의사 분산 모드 openssh 패키지 설치 key 생성 공개키를 ssh 인증키로 등록 접속 로그아..

오라클 설치 오라클은 rpm 파일만 있으므로 deb파일로 바꿔야 리눅스에서 실행가능하다. 변환 프로그램 설치 압축풀기 Disk1로 이동 : cd Disk1 변환 오라클 설치 8080포트는 톰캣이 사용중이므로 9000번 포트로 바꿈 환경설정 자동 실행 설정 맨밑 추가 실행 확인 계정 생성 하기 관리자 계정 로그인 계정 생성 로그인 db 테스트

톰캣 설치 www.apache2.tomcat.com 설정 설정확인 실행 확인 톰캣은 컴퓨터 끄면 서버가 꺼진다. 재부팅시 다시 시작

자바 설치 http://java.oracle.com -> 1.8 버전 압축 풀기 폴더 이름 바꾸기 환경변수 설정 설정변경 임시적용 (환경변수 변경 후에는 재부팅 해야함)

리눅스 끼리 폴더 공유 서버 설정 sync는 쓰기 작업할 때마다 동기화 async는 빠르지만 동기화 하지 않는다. 권한 설정 마운트 컴퓨터를 껐다 키면 사라지므로 자동 마운트 설정

samba는 리눅스와 윈도우 운영체제 사이의 폴더 공유 Master 컴퓨터에 설치 apt-get -y install samba 설치 확인 동작 확인 samba서버 계정 설정 samba 서버 설정 읽기 전용이면 윈도우에서 넣은 파일을 쓸 수 없다 설정 변경 후 서버 restart 외부 네트워크 연결을 위해 랜카드 추가 네트워크 폴더 설정 내 PC -> 네트워크 드라이브 연결

윈도우 : 1대 , 리눅스 master , worker1, worker2 : 3대 생성 메모리는 4G , 2G, 2G 로 나눈다. 기본적으로 짝수로 설정해야 한다 Master 메모리 4096MB, 하드디스크 100GB 설정(동적 할당) Ubuntu 18.04 버전 Worker1 메모리 2048MB, 하드디스크 100GB 설정(동적할당) Ubuntu 18.04 버전 Worker2 메모리 2048MB, 하드디스크 100GB 설정(동적할당) Ubuntu 18.04 버전 네트워크 툴 설치 네트워크 설정 고정 아이피 사용 스냅샷 스냅샷 상태로 되돌리려면 복원 누르고 실행 컴퓨터 복제하기 (Worker1, Worker2) 메모리 2048MB