파이썬으로 웹 크롤러 만들기: 초간단 나만의 웹 크롤러로 원하는 데이터 가져오는 방법

Part I

스크레이퍼 제작

1부에서는 웹 스크레이핑의 기본에 대해 다룹니다. 파이썬으로 웹 서버에 정보를 요청하는 법, 서버 응답을 처리하는 기본적인 방법, 웹사이트와 자동적으로 통신하는 법이 주된 내용입니다. 1부를 마치고 나면 인터넷을 쉽게 여행하고 도메인에서 도메인으로 건너뛰며 정보를 수집하고 저장하는 스크레이퍼를 만들 수 있습니다.

사실 웹 스크레이핑은 비교적 적은 투자로 엄청난 소득을 올릴 수 있는 환상적인 분야입니다. 웹 스크레이핑 프로젝트의 90퍼센트 정도는 다음 여섯 장에서 배울 내용만으로 만들 수 있습니다. 여기서 다룰 내용은 (기술적인 지식이 좀 있는) 일반인들이 ‘웹 스크레이퍼’라는 단어를 들었을 때 떠올릴 만한 것들입니다.

• 도메인 이름을 받고 HTML 데이터를 가져옴

• 데이터를 파싱해 원하는 정보를 얻음

• 원하는 정보를 저장함

• 필요하다면 다른 페이지에서 이 과정을 반복함

이 내용을 잘 익히면 2부에서 더 복잡한 프로젝트를 다룰 기초가 잘 마련될 겁니다. 1부가 2부에서 다룰 고급 프로젝트보다 덜 중요할 거라는 착각에 빠지지 마십시오. 앞으로 만들게 될 웹 스크레이퍼에 필요한 거의 모든 정보를 1부에서 얻게 될 겁니다.

1장 첫 번째 웹 스크레이퍼

2장 고급 HTML 분석

3장 크롤링 시작하기

4장 API 사용

5장 데이터 저장

6장 문서 읽기