머신러닝 개요, scikit-learn

머신러닝

• 샘플데이터를 입력하여 분석하여 일정한 규칙을 찾아내고, 찾아낸 규칙을 기반으로 다른 데이터를 분류하거나 미래를 예측 하는 것

• 머신러닝 종류

종류	설명
지도 학습(교사 학습)	데이터와 함께 답을 입력<br />다른 데이터의 답을 예측
비지도 학습(비교사 학습)	데이터는 입력하지만 답은 입력하지 않는다.<br />다른 데이터의 규칙성을 찾는다.
강화학습	부분적으로 답을 입력한다.<br />데이터를 기반으로 최적의 답을 찾는다.

• 지도 학습

  • 훈련 데이터와 그에 상응하는 레이블 또는 타겟 포함

  • 분류(classfication)

    • 스팸 필터

  • 회귀(regression)

    • 특징(feature)을 사용해 타겟 수치를 예측

  • 대표적 지도학습 알고리즘

    • k-최근접 이웃(k-Nearest Neighborhood)

    • 선형 회귀(linear regression)

    • 로지스틱 회귀(logistic regression)

    • 서포트 벡터 머신(SVM)

    • 결정트리(decision tree)와 랜덤 포레스트(random forest)

    • 신경망(neural networks)

• 비지도 학습

  • 훈련 데이터에 레이블이 없음

  • 군집(clustering)

    • 훈련 데이터들을 비슷한 그룹으로 묶음

    • k-means

    • 계층 군집분석(HCA, hierarchical cluster analysis)

  • 시각화 차원 축소

    • 레이블 없는 고차원 데이터를 도식화 가능토록 2차원 또는 3차원 데이터로 변환

    • 너무 많은 정보를 잃지 않으면서 데이터를 간소화

    • 주성분 분석(PCA, principal component analysis)

    • 커널 PCA

  • 이상치 탐지

    • 정상 샘플로 훈련된 시스템이 새로운 샘플이 정상 데이터인지 이상치인지 판단

  • 연관 규칙 학습(association rule learning)

    • 데이터의 특징 간의 흥미로운 관계 찾기

    • 어 프라이어리(Apriari)

• 강화 학습(reinforcement learning)

  • 학습하는 시스템인 에이전트가 환경을 관찰하여 행동을 실행하고 그 결과로 보상(reward) 또는 벌점 (penalty)를 받으며 시간이 지나면서 가장 큰 보상을 얻기 위해 정책이라는 최상의 전략을 스스로 학습

  • 정책은 주어진 상황에서 에이전트가 어떤 행동을 선택해야 할지 정의

  •  

    예) 알파고

     

머신러닝의 흐름

• 머신러닝에서는 어느 정도 양의 데이터를 수집하여 어떠한 특징을 활용할지, 어떤 형식으로 가공할지가 중요하다.

과대적합(overfitting) 과소적합(underfitting)

• 데이터가 학습되어 있지만 학습되지 않은 새로운 데이터에 대해 제대로 된 예측을 못하는 상태

• 모델에 비해 문제가 너무 복잡하거나 데이터가 너무 적은 경우 발생

머신러닝 프레임워크 scikit-learn

• Jupyterlab 설치

• 윈도우 환경에서 ubuntu 로 접속하기 위한 설정

• 설정 추가

• 이미지 저장

• 컨테이너 생성

• jupyter lab 실행

• 윈도우 브라우저 에서 접속

• docker toolbox에서 실행했을 경우에는 192.168.99.100:8800 으로 접속

• localhost:8800

• 패키지 설치

• pandas 설치

XOR 연산 학습

• 논리 연산 결과

P	Q	P XOR Q
0	0	0
1	0	1
0	1	1
1	1	0

• 프레임워크를 사용해서 간단하게 작성하기