book

파이썬으로 웹 크롤러 만들기: 초간단 나만의 웹 크롤러로 원하는 데이터 가져오는 방법

by 한선용, 라이언 미첼

January 2017

Beginner to intermediate

133 pages

4h 29m

Korean

Hanbit Media, Inc.

Read now

Unlock full access

1.1 연결1.2 BeautifulSoup 소개1.2.1 BeautifulSoup 설치1.2.2 BeautifulSoup 실행1.2.3 신뢰할 수 있는 연결
2.1 닭 잡는 데 소 잡는 칼을 쓸 필요는 없습니다2.2 다시 BeautifulSoup2.2.1 find()와 findAll()2.2.2 기타 BeautifulSoup 객체2.2.3 트리 이동2.3 정규 표현식2.4 정규 표현식과 BeautifulSoup2.5 속성에 접근하기2.6 람다 표현식2.7 BeautifulSoup를 넘어
3.1 단일 도메인 내의 이동3.2 전체 사이트 크롤링3.2.1 전체 사이트에서 데이터 수집3.3 인터넷 크롤링3.4 스크래파이를 사용한 크롤링
4.1 API는 어떻게 동작하는가4.2 공통 표기법4.2.1 메서드4.2.2 인증4.3 응답4.3.1 API 호출4.4 에코 네스트4.4.1 몇 가지 예제4.5 트위터4.5.1 시작하기4.5.2 몇 가지 예제4.6 구글 API4.6.1 시작하기4.6.2 몇 가지 예제4.7 JSON 파싱4.8 모든 것을 하나로4.9 마치며
5.1 미디어 파일5.2 데이터를 CSV로 저장5.3 MySQL5.3.1 MySQL 설치5.3.2 기본 명령어5.3.3 파이썬과의 통합5.3.4 데이터베이스 테크닉과 모범 사례5.3.5 여섯 다리와 MySQL5.4 이메일

6.1 문서 인코딩6.2 텍스트6.2.1 텍스트 인코딩과 인터넷6.3 CSV6.3.1 CSV 파일 읽기6.4 PDF6.5 마이크로소프트 워드와 .docx
7.1 코드로 정리하기7.1.1 데이터 정규화7.2 사후 정리7.2.1 오픈리파인
8.1 데이터 요약8.2 마르코프 모델8.2.1 위키백과의 여섯 다리: 결론8.3 자연어 툴킷8.3.1 설치8.3.2 NLTK를 사용한 통계적 분석8.3.3 NLTK를 사용한 사전적 분석8.4 추가 자료
9.1 파이썬 requests 라이브러리9.2 기본적인 폼 전송9.3 라디오 버튼, 체크박스, 기타 필드9.4 파일과 이미지 전송9.5 로그인과 쿠키 처리9.5.1 HTTP 기본 접근 인증9.6 기타 폼 문제
10.1 자바스크립트에 관한 간단한 소개10.1.1 널리 쓰이는 자바스크립트 라이브러리10.2 Ajax와 동적 HTML10.2.1 셀레니움으로 파이썬에서 자바스크립트 실행10.3 리다이렉트 처리
11.1 라이브러리 개관11.1.1 필로11.1.2 테서랙트11.1.3 넘파이11.2 형식이 일정한 텍스트 처리11.2.1 웹사이트 이미지에서 텍스트 스크레이핑하기11.3 CAPTCHA 읽기와 테서랙트 훈련11.3.1 테서랙트 훈련11.4 CAPTCHA 가져오기와 답 보내기
12.1 스크레이핑의 윤리에 관해12.2 사람처럼 보이기12.2.1 헤더를 수정하십시오12.2.2 쿠키 처리12.2.3 타이밍이 가장 중요합니다12.3 널리 쓰이는 폼 보안 기능12.3.1 숨긴 필드 값12.3.2 허니팟 피하기12.4 사람처럼 보이기 위한 체크리스트
13.1 테스트 입문13.1.1 단위 테스트란?13.2 파이썬 unittest13.2.1 위키백과 테스트13.3 셀레니움을 사용한 테스트13.3.1 사이트 조작13.4 unittest vs 셀레니움
14.1 원격 서버를 쓰는 이유14.1.1 IP 주소 차단 방지14.1.2 이동성과 확장성14.2 토르14.2.1 파이삭스14.3 원격 호스팅14.3.1 웹사이트 호스팅 계정에서 실행14.3.2 클라우드에서 실행14.4 추가 자료14.5 미래를 향해
A.1 설치와 ‘Hello, World!’
C.1 상표? 저작권? 특허?C.1.1 저작권법C.2 동산 침해C.3 컴퓨터 사기와 악용에 관한 법률C.4 robots.txt와 이용 약관C.5 세 가지 웹 스크레이퍼 사례C.5.1 이베이 vs. 비더스 에지: 동산 침해C.5.2 미국 vs. 오언하이머: 컴퓨터 사기와 악용에 관한 법률C.5.3 필드 vs. 구글: 저작권과 robots.txt

Content preview from 파이썬으로 웹 크롤러 만들기: 초간단 나만의 웹 크롤러로 원하는 데이터 가져오는 방법

지은이·옮긴이 소개

지은이 라이언 미첼 Ryan Mitchell

웹 크롤링, 보안, 데이터 과학에 관심이 많은 개발자. 현재 글로벌 펀드사 헤지서브HedgeServ에서 시니어 개발자로 근무하고 있습니다. 프랭클린 W. 올린 공과대학교를 졸업했고 하버드 대학교에서 소프트웨어 엔지니어링 석사 과정을 밟았습니다. 어바인Abine에서 웹 크롤러와 봇을 만들었고, 링크드라이브LinkeDrive에서는 API 및 데이터 분석 도구를 만들었습니다. 금융업 및 유통업 분야에서 웹 크롤링 프로젝트 컨설팅을 하고 있고, 교육과 강연 활동도 활발하게 펼치고 있습니다. 본서 외 저서로 『Instant Web Scraping with Java』(Packt, 2013)가 있습니다.

옮긴이 한선용

웹 표준과 자바스크립트에 관심이 많은 번역가. 2008년부터 웹 관련 일을 했으며, ‘WCAG 2.0을 위한 일반적 테크닉’ 등의 문서를 번역해 웹에 올렸습니다. 번역서로 『한 권으로 끝내는 Node & Express』(2015), 『자바스크립트를 말하다』(2014), 『데이터 시각화를 위한 데이터 인사이트』(2014), 『모던 웹을 요리하는 초간편 HTML5 Cookbook』(2012), 『Head First jQuery』(2012), 『jQuery Mobile』(2012), 『자바스크립트 성능 최적화』(2011, 이상 한빛미디어), 『자바스크립트 프로그래밍』(2013), 『처음 배우는 jQuery』(2012), 『에릭 마이어의 CSS 노하우』(2011, ...