CHAPTER 9
폼과 로그인 뚫기
웹 스크레이핑의 기본을 이해한 다음 나올 만한 첫 번째 질문 중 하나는, 로그인해야 얻을 수 있는 정보에 어떻게 접근하느냐입니다. 웹은 점점 더 상호작용과 소셜 미디어, 사용자가 만든 콘텐츠 쪽으로 이동하고 있습니다. 폼과 로그인은 이런 타입의 사이트에서 필수적인 부분이고, 이것 없이 사이트를 유지하기는 거의 불가능합니다. 다행히 이들은 비교적 쉽게 대응할 수 있습니다.
여태까지 사용한 예제 스크레이퍼들은 대부분 HTTP GET을 써서 정보를 요청했습니다. 이 장에서는 웹 서버에서 저장하고 분석할 정보를 보내는 POST 메서드에 집중합니다.
폼은 기본적으로 웹 서버가 이해하고 사용할 수 있는 POST 요청을 사용자가 보낼 수 있게 하는 수단입니다. 웹사이트에 있는 링크 태그는 사용자가 GET 요청을 형식에 맞게 보낼 수 있도록 돕습니다. 마찬가지로, HTML 폼은 POST 요청을 형식에 맞게 보낼 수 있도록 돕습니다. 따라서 코딩을 조금만 하면 POST 요청을 직접 만들어 스크레이퍼가 전송하게 할 수 있습니다.
9.1 파이썬 requests 라이브러리
파이썬의 기본 라이브러리만으로도 웹 폼을 다룰 수 있지만, 도움을 좀 받으면 삶이 훨씬 단순해질 수 있습니다. urllib과 기본적인 GET 요청으로 ...
Get 파이썬으로 웹 크롤러 만들기: 초간단 나만의 웹 크롤러로 원하는 데이터 가져오는 방법 now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
