물흐르듯 개발하다 대박나기

HTTP 통신 웹 브라우저와 웹 서버는 HTTP 프로토콜을 사용해서 통신 HTTP 통신은 브라우저 에서 서버로 요청(request), 서버에서 브라우저로 응답(response)할 때 어떻게 할 것인가를 나타내는 규약 무상태(stateless) 통신 : 같은 url에 여러번 접근해도 같은 데이터를 돌려주는 통신 HTTP 통신은 무상태 통신 이지만 세션을 이용하여 쿠키에 기록되어 있는 고유 ID를 키로 사용해 상태를 변수로 확인 -> 통신을 계속해서 진행하는 것 같은 상태 유지(stateful) 통신 구현 쿠키 - 클라이언트의 컴퓨터에 일시적으로 데이터를 저장하는 기능 - 1개의 쿠키에 4096 바이트까지 데이터를 저장할 수 있다. - HTTP 통신 헤더를 통해 읽고 쓸 수 있으므로 방문자 또는 확인자 측에..

상대경로 전개 from urllib.parse import urljoin base = 'http://example.com/html/a.html' print(urljoin(base, 'b.html')) print(urljoin(base, 'sub/c.html')) print(urljoin(base, '../index.html')) print(urljoin(base, '../img/hoge.png')) print(urljoin(base, '../css/hoge.css')) print(urljoin(base, './doc/car.html')) print(urljoin(base, '../../../index.html')) print(urljoin(base, '/hoge.html')) print(urljoin(b..

CSS 선택자 선택자 기본 서식 서식 설명 * 모든 요소를 선택 요소 이름을 기반으로 선택 . 클래스 이름을 기반으로 선택 # id 속성을 기반으로 선택 선택자들의 관계를 지정하는 서식 서식 설명 , 쉼표로 구분된 여러 개의 선택자를 모두 선택 앞 선택자의 후손 중 뒤 선택자에 해당하는 것을 모두 선택 > 앞 선택자의 자손 중 뒤 선택자에 해당하는 것을 모두 선택 + 같은 계층에서 바로 뒤에 있는 요소를 선택 ~ 선택자1 부터 선택자2 까지의 요소 모두 선택 선택자 속성을 기반으로 지정하는 서식 서식 설명 [] 해당 속성을 가진 요소를 선택 [= 과일과 야채 사과 포도 레몬 오렌지 무 파프리카 가지 아보카도 연근 from bs4 import BeautifulSoup fp..

BeautifulSoup은 HTML과 XML을 분석해주는 라이브러리이다. 자체에는 다운로드 기능은 없다. 설치 pip install beautifulsoup4 ( or pip3 install beautifulsoup4 ) 기본 사용법 from bs4 import BeautifulSoup # 분석하고 싶은 HTML html = """ 스크레이핑이란? 웹 페이지를 분석하는 것 원하는 부분을 추출하는 것 """ # html 분석하기 soup = BeautifulSoup(html, 'html.parser') # 원하는 부분 추출하기 h1 = soup.html.body.h1 p1 = soup.html.body.p p2 = p1.next_sibling.next_sibling # 요소 출력하기 print('h1 = ..

데이터 다운로드 urllib.request를 이용한 다운로드 파이썬 프로그램 작성 import urllib.request # url 및 경로 지정 url = "http://uta.pw/shodou/img/28/214.png" savename = "test.png" # 다운로드 urllib.request.urlretrieve(url, savename) print("저장 되었습니다~") docker 를 이용 ubuntu에서 실행 urlopen() 으로 파일에 저장하는 방법 바로 저장하지 않고 데이터를 메모리 위에 올리고, 이 후에 저장 import urllib.request # url 및 경로 지정 url = "http://uta.pw/shodou/img/28/214.png" savename = "test1..

docker 설치 https://www.docker.com/ window 10 home 버전은 docker toolbox 설치 https://github.com/docker/toolbox/releases 설치 확인 ubuntu ubuntu 뒤에 버전을 명시 하지 않으면 최신버전 docker 사용 새로운 이미지 생성 mlearn 실행 tag 를 생략하면 latest exit는 컨테이너 종료하고 빠져나온다. ctrl + p, ctrl + q 는 컨테이너를 종료하지 않고 빠져나온다. 종료하지 않은 컨테이너 다시 시작하기 docker attach 컨테이너 아이디 컨테이너 지우기( 컨테이너 ID 를 공백으로 구분하여 여러개 지우기 가능) 이미지 지우기 이미지를 지우려면 컨테이너를 먼저 지워야 한다 호스트 OS의 ..

웹 클라이언트 모듈 _urllib 웹 모듈 설명 urllib.request GET 과 POST 외에도 PUT, DELETE, HEAD, OPTION등의 방법으로 서버 요청 urllib.error 서버 페이지 응답과 요청 시에 exception 값을 가짐 urllib.response 서버의 응답 결과를 가짐 urllib.robotparse robot.txt 파일을 사용하여 URL을 구문 분석에 사용 urllib의 공통 주요 메소드 메소드 설명 urlopen() url 오픈 urlretrieve(url[, filename [, reporthook [, data ]]]) URL로 표시되는 네트워크의 개체를 필요에 따라 로컬 파일에 복사한다. urlencode(query [, doseq ]) 2개의 요소를 가진..

파이썬의 네트워크 TCP/IP 프로토콜 응용 계층은 TCP/IP 프로토콜을 이용하는 응용 서비스로서 TCP 또는 UDP가 지원하는 응용으로 각각 구분할 수 있다. 소켓(socket)은 응용프로그램에서 TCP/IP를 이용하는 창구 역할을 하며 응용 프로그램과 소켓 사이의 인터페이스를 소켓 인터페이스 라고 한다. TCP : 신뢰성, 재전송에 의한 오류제어 흐름제어를 하는 스트림 형태의 연결형 서비스 UDP : 오류제어와 흐름제어가 없는 비연결형 서비스 트랜스포트 계층은 호스트 사이의 종점간 연결을 제공하고 종점간의 데이터 전달을 처리 인터넷 계층은 비 연결형 서비스, 데이터그램 방식으로 호스트 사이에 IP패킷을 전달하는 기능과 라우팅 등을 수행 파이썬의 TCP 소켓 모듈 소켓 모듈의 주요 메소드 메소드 설명..