빅데이터 플랫폼 구축 #8 - Mapreduce : 사용자 정의 옵션 활용
> 1. GenericOptionParser 활용 - hadoop을 실행할 때 -D옵션과 함께 속성=속성값을 입력하면 Mapper에서 이 정보를 사용할 수 있도록 정의 - commons-cli-xxx.jar 라이브러리를 추가(하둡 설치폴더 안 lib에 있음) 1) Mapper작성 - setup메소드 : Mapper가 실행될 때 한 번만 실행되는 메소드 - 하둡을 실행할 때 -D옵션과 함께 입력한 속성명을 지정하면 입력했던 속성값을 추출할 수 있다. - Configuration객체를 이용해서 작업 2) Reducer - 동일 3) Driver - 실행할 때 사용자가 입력한 옵션을 이용할 수 있도록 설정해야 하므로 기존 방식을 모두 변경 - 사용자정의 옵션을 사용하기 위한 작업(command line에 사용..
Hadoop
2020. 10. 5. 23:36
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 빅데이터
- Flume
- Java
- springboot
- File Protection
- SPARK
- aop
- Replacement Strategies
- Disk System
- jdbc
- JSON
- I/O Mechanisms
- linux
- I/O Services of OS
- 빅데이터 플랫폼
- mapreduce
- Variable allocation
- vmware
- gradle
- Spring
- RAID Architecture
- Disk Scheduling
- hadoop
- Free space management
- 하둡
- Allocation methods
- oracle
- maven
- SQL
- HDFS
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함