빅데이터 플랫폼 구축 #6 - MapReduce
1. MapReduce프레임워크 내부에서 사용되는 데이터 타입 분산 환경에서 처리되므로 데이터 타입이 일반 자바에서 사용하는 기본 데이터 타입이 아니라 하둡 내부에서 작성된 인터페이스(Writable)를 상속하는 특별한 클래스타입이어야 한다. int - IntWritable long - LongWritable String - Text 2. 기본작업 1) Mapper - Mapper를 상속 Mapper KEYIN : mapper에 input되는 데이터의 key타입 (byte offset이나 라인넘버로 생각 - LongWritable타입) VALUEIN : mapper에 input되는 데이터의 value타입 KEYOUT : mapper에서 output되는 데이터의 key타입 VALUEOUT : mapper에..
Hadoop
2020. 10. 4. 19:26
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Flume
- Replacement Strategies
- hadoop
- JSON
- 하둡
- RAID Architecture
- jdbc
- 빅데이터 플랫폼
- springboot
- vmware
- mapreduce
- Variable allocation
- File Protection
- Disk System
- HDFS
- I/O Services of OS
- Java
- linux
- Allocation methods
- aop
- 빅데이터
- I/O Mechanisms
- SQL
- oracle
- Spring
- SPARK
- Disk Scheduling
- gradle
- Free space management
- maven
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함