물흐르듯 개발하다 대박나기

Shuffle단을 수정 map과 reduce사이에 shuffle이라 부르는 처리가 프레임워크에 의해 자동을 처리된다. 리듀스의 전처리 작업으로 사용자가 직접 정의하지 않지만 필요에 의해서 (복잡한 input데이터 활용해서 조인하거나 사용자 정의 기준으로 정렬하거나..) 커스터마이징 할 수 있어야 한다. map작업 ---------> shuffle작업 -----------> reduce작업 map처리 후 데이터를 정렬해서 같은 키를 가진 데이터를 같은 장소에 모은다. 이때 슬레이브 서버 간에 네트워크를 통한 전송이 발생 shuffle단에서 발생하는 이러한 작업을 프레임워크 내부에서 자동으로 처리 shuffle단에서 네트워크를 통한 전송이 발생 정렬 정렬의 종류 보조정렬 부분정렬 전체정렬 보조정렬 기존의 맵..