빅데이터 플랫폼 구축 #6 - MapReduce
1. MapReduce프레임워크 내부에서 사용되는 데이터 타입 분산 환경에서 처리되므로 데이터 타입이 일반 자바에서 사용하는 기본 데이터 타입이 아니라 하둡 내부에서 작성된 인터페이스(Writable)를 상속하는 특별한 클래스타입이어야 한다. int - IntWritable long - LongWritable String - Text 2. 기본작업 1) Mapper - Mapper를 상속 Mapper KEYIN : mapper에 input되는 데이터의 key타입 (byte offset이나 라인넘버로 생각 - LongWritable타입) VALUEIN : mapper에 input되는 데이터의 value타입 KEYOUT : mapper에서 output되는 데이터의 key타입 VALUEOUT : mapper에..
Hadoop
2020. 10. 4. 19:26
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- springboot
- 하둡
- File Protection
- HDFS
- Java
- SQL
- Free space management
- Replacement Strategies
- JSON
- Disk System
- I/O Services of OS
- gradle
- SPARK
- Flume
- vmware
- hadoop
- Spring
- Variable allocation
- 빅데이터 플랫폼
- I/O Mechanisms
- maven
- linux
- oracle
- RAID Architecture
- Disk Scheduling
- Allocation methods
- jdbc
- aop
- 빅데이터
- mapreduce
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
글 보관함