빅데이터 플랫폼 구축 #11 - Sqoop

Sqoop

• sqoop은 Apache Hadoop과 RDBMS사이에 data를 효율적으로 이동할 수 있도록 지원되는 도구

• sql to hadoop의 약자

• Sqoop 사용하기

  1. 다운로드

  2. 압축풀기

  3. .bashrc에 환경설정정보 등록

  4. 오라클 연동을 위해서 ojdbc6.jar를 sqoop_home/lib에 복사

다운로드

• sqoop.apache.org

• 설치

Shell(bash)설정

• /etc/profile - 부팅시 적용되는 파일 (root)

• /home/사용자계정/.bash_profile : 각 계정에 로그인할 때 로드

• /home/사용자계정/.bashrc : 로그인 한 상태에서 터미널을 열면 실행

• sqoop을 사용하기 위해 path 설정

• db사용을 위해 JDBC 라이브러리 복사

• /home/사용자계정/sqoop폴더/lib

• 연결 되었는지 확인

• 윈도우에 설치된 oracle 실행

• eval 은 단순히 실행하는 명령어

Import - 오라클 데이터를 hdfs에 적재

• 명령어 : sqoop import

• 옵션

  • connect : 오라클 연결

  • username : 접속 계정

  • password : 접속 비밀번호

  • table : 테이블명

  • columns : "컬럼명, 컬럼명, ... "

  • target-dir : hdfs의 위치

  • m: mapreduce갯수

  • as-textfile : 텍스트파일 유형

  • query : sql문을 직접 명시

• 실행 명령문 : 데이터 조회할 때 테이블과 컬럼명 명시

  • sqoop import \ ('\\'는 줄바꿈 기호)

    --connect jdbc:oracle:thin:@IP주소:1521:xe \

    --username 계정 \\

    --password 비밀번호 \\

    --table 테이블명 \\

    --columns "컬럼명, 컬럼명, ..." \\

    --target-dir /sqoop/ \\

    --as-textfile --m 1

• 실행

• 결과

실행명령문 : 데이터를 조회할 때 sql문을 실행해서 결과를 조회

• sqoop import \ ('\\'는 줄바꿈 기호)

  --connect jdbc:oracle:thin:@IP주소:1521:xe \

  --username 계정 \\

  --password 비밀번호 \\

  --query "SQL Query" \\

  --target-dir /sqoop/ \\

  --as-textfile --m 1

• query문을 직접 사용하는 경우에는 where절 안에 반드시 $CONDITONS을 포함해야 한다( 쌍따옴표("")의 경우에는 \\$CONDITONS를)

• 조건이 있는 경우에는 AND로 연결

• 실행

• 결과

• 실행

• 결과

Export

• hdfs에 저장된 데이터를 오라클로 이동하기

• 테이블이 미리 정의되어 있어야 한다.

• 명령어 : sqoop export

• 옵션

  • connect : 오라클 연결 문자열

  • username : 접속 계정

  • password : 계정 비밀번호

  • table : 테이블명

  • columns : "컬럼명, 컬럼명, ..."

  • export-dir : hdfs 경로

• 실행명령문 : hdfs에 저장된 파일을 오라클 테이블로 이동

  • sqoop export \ ('\\'는 줄바꿈 기호)

    --connect jdbc:oracle:thin:@IP주소:1521:xe \

    --username 계정 \\

    --password 비밀번호 \\

    --table 테이블명 \\

    --columns "컬럼명, 컬럼명, .." \\

    --export-dir 가져올 데이터 경로

• 테이블 생성

• 가져올 데이터

• 실행

• 결과