물흐르듯 개발하다 대박나기

표준 출력 함수 print() 출력 서식을 이용한 포매팅(formatting) 키워드 설명 %d, %i 10진수 %o 8진수 %x 16진수 %e 부동 소수점 지수 형식 %f 실수 %g 일반형: 값에 따라 %e 혹은 %f 사용 (소문자 / 대문자) %c 단일문자(정수 또는 단일 문자열 허용) %r 문자열(repr() 의 결과 값) %s 문자열(str() 의 결과 값) %% % 를 출력 2개 이상 포맷팅 할 경우에는 () 로 묶어야 한다. # 전체 10자리수 소수점 3자리를 지수형식으로 출력 print('%10.3e' % (123.4567)) # 10진수를 8진수로 전체 자리수 10자리로 출력 print('%10o' % 97) # 10지수를 16진수로 전체 자리수 5자리로 출력 print('%5x' % 97..

딕셔너리(Dictionary) { } 안에 key : value 의 형태로 저장 딕셔너리는 정렬되지 않은 키 - 값의 쌍 새로운 값 입력 시에는 반드시 key , value 값이 있어야한다 value의 값은 변경 가능하지만 key 값은 변경 불가 key값은 immutable 객체만 가능 value 값은 모든 객체 key를 호출하면 value값이 리턴 대소문자 구분 dic = {'id' : 'Dominica', 'pw' : 'a123', 'db' : 'Oracle'} print(dic) # 순서가 없으므로 추가 된 순서대로 나오지 않는다 print(dic['id']) print(dic['pw']) print(dic['db']) # 값 변경 dic['id'] = 'python' print(dic) # 키 값..

문자열, 수치 등을 관리하는 기본 자료형 종류 : String, Tuples, Lists 배열 형식 : 문자열, 수치 등을 나열해서 관리하는 배열형식을 가진다. 인덱싱 : 배열로 저장된 형식을 취하기 때문에 인덱싱을 이용하여 저장된 자료의 위치를 참조해서 활용할 수 있다. 슬라이싱 : 특정 구간의 자료를 리턴할 수 있는 슬라이싱 기능 연결과 반복 : +, * 를 통해 자료를 연결하거나 반복 가능 자료 확인 : in 키워드를 통해 어떤 값이 시퀀스 자료에 속해 있는지 확인 String 문자열의 인덱싱 문자열의 슬라이싱 [인덱스 시작 : 인덱스 끝 : 스텝] 슬라이싱은 원본의 데이터를 복사해 오기때문에 복사해온 데이터를 바꿔도 원본은 바뀌지 않는다. 문자열은 immutable 이므로 중간의 데이터를 바꿀 수..

식별자와 키워드 식별자는 어떤 대상을 유일하게 식별 및 구별할 수 있는 이름 유니코드 형식 파이썬 식별자 선언 규칙 영문자, 또는 _ 로 시작 @, $, % 등 문장부호는 사용 X 대소문자 구분 _ 로 시작하는 식별자는 private __ 로 시작하는 식별자는 strong private 키워드(예약어) 사용 X 키워드 : 파이썬에서 사용되는 예약어 변수와 기본 자료형 변수 : 저장할 수 있는 메모리상의 공간 특징 숫자 값, 문자열 값 또는 클래스의 객체 변수에 저장되는 값(리터럴 상수)은 변경할 수 있지만 변수 이름은 그대로 유지 변수는 특정 데이터 형식과 레이블을 사용하여 선언 데이터 형식은 응용 프로그램이 실행될 때 값을 저장하기 위해 할당해야 하는 정확한 메모리 양을 지정 변수의 명명은 식별자 규칙..

파이썬 설치 다운로드 https://www.python.org/ 설치 확인 IDE 설치 (VSC) 다운로드 https://code.visualstudio.com/ 폰트 (D2coding) https://github.com/naver/d2codingfont/releases/tag/VER1.3.2 한글버전 설치 폴더 열기(파일 -> 폴더열기) 기본 예제 실행 실행 -> 디버그 없이 실행 터미널에서 실행 Font 변경 파일 -> 기본설정 -> 설정 Style Guide for python code https://www.python.org/dev/peps/pep-0008/

대용량 데이터 집합을 분석 컴파일을 하기 때문에 속도가 느리다 하둡이 있어야 함 설치 http://pig.apache.org pig-0.17.0.tar.gz 다운 압축풀기 폴더이름 변경 환경변수 변경 후 재부팅 HADOOP_HOME 이 반드시 있어야함 작업 히스토리 서버 시작 확인 pig 실행 정형 데이터 분석 하둡에 pig 폴더 생성 데이터 확인 Pig에서 실행 하둡 pig폴더에 있는 passwd.txt 를 : 을 구분자로 하여 불러옴 맵리듀스로 작업하여 화면에 출력 튜플 중 맨 처음 값의 이름을 id로 가져와 B에 저장 하둡 폴더에 결과를 출력할 폴더 생성 B의 값을 /output/pig 폴더에 저장 같은 이름의 폴더가 있으면 안된다. 결과 확인 비정형 데이터 분석 pig에 데이터 불러오기 (구분자 ..

RDBMS 와 Hadoop간의 데이터 이동을 지원 mysql 하둡 설정을 해야 하므로 하둡을 끄고 설치 Mysql 설치 설치 확인 비밀번호 설정 바로 로그인 사용자 생성 권한 설정 사용자 로그인 데이터 베이스 생성 생성 후 use 를 해야 사용 가능 테이블 생성 테이블 생성 확인 데이터 삽입 데이터 확인 오라클 실행 sqoop 설치 http://sqoop.apache.org 압축 해제 폴더 이름 변경 환경변수 설정 후 재부팅 zookeeper 설치 https://zookeeper.apache.org/releases.html 압축 해제 폴더 이름 변경 환경변수 설정 후 재부팅 설치 확인 설정변경 폴더 생성 환경변수 변경 jar 파일 복사 환경변수 변경 jar 파일 추가 하둡 실행 import sqoop 실..

로그 데이터 수집 툴 (전처리 된 데이터) Source : 외부 이벤트가 생성되어 수집되는 영역 Sink : 수집된 로그/이벤트를 목적지에 전달 Channel : Source 와 Sink 간의 버퍼구간 채널별로 1개 Sink 지정 다른 컴퓨터의 데이터도 수집 가능 다운로드 http://flume.apache.org/download.html 압축풀기, 폴더이름 변경 환경변수 설정 설정변경시 재부팅을 해야함 현재 터미널 임시 적용 설치확인 설정 agent1 : 최상위 에이전트 명. 단일 에이전트 source1 : 에이전트에서 실행된 소스의 이름을 나열. 단일소스 spooldir : 새로운 파일의 전송을 위해 스풀링 디렉터리를 검사하는 스플링 디렉터리 소스 spoolDir : 스풀링 디렉터리 소스를 지정 lo..