파이썬으로 웹 크롤러 만들기: 초간단 나만의 웹 크롤러로 원하는 데이터 가져오는 방법

CHAPTER 14

원격 스크레이핑

이 장이 책의 마지막 장인 것은 꽤 적절한 배치라고 생각합니다. 여태까지는 모든 파이썬 애플리케이션을 자신의 컴퓨터라는 제한된 환경에서 실행했습니다. 물론, 실제 서버 환경을 복제할 생각으로 MySQL을 설치해봤을 수도 있지만, 그게 실제와 똑같지는 않습니다. 무언가를 진정 사랑한다면 놓아주라는 속담도 있죠.

이 장에서는 스크립트를 다른 컴퓨터, 또는 자신의 컴퓨터에서 다른 IP 주소를 사용해 실행하는 방법을 몇 가지 설명합니다. 이 단계가 당장은 필요 없다고 생각하고 옆으로 치우고 싶을 수도 있겠지만, 호스팅 계정에 갖고 있는 개인 웹사이트 같은 것으로도 얼마나 쉽게 할 수 있는 일인지 알게 된다면, 그리고 파이썬 스크레이퍼를 노트북에서 실행하지 않아도 되면 삶이 얼마나 단순해지는지 알게 된다면 분명히 놀랄 겁니다.

14.1 원격 서버를 쓰는 이유

원격 서버는 많은 사람에게 공개할 웹 앱을 만들 때 필수불가결한 단계이지만, 우리 자신의 필요에 의해 만든 도구는 대개 로컬에서 실행됩니다. 원격 플랫폼을 사용하는 사람들이 그런 결정을 내리는 동기는 보통 두 가지입니다. 하나는 더 강력하고 유연한 환경이 필요해서이고, 다른 하나는 대체 IP 주소가 필요해서입니다.

14.1.1 IP 주소 차단 방지