PythonによるWebスクレイピング 第2版

第I部スクレイパーを作る

ここでは、Webスクレイピングの基本的な仕組みに焦点を当てます。Webサーバに情報をリクエストするためのPythonの使い方、サーバからのレスポンスを扱う基本機能の使い方、Webサイトとのやり取りを自動的に処理するための始め方などを扱います。最後には、インターネットをやすやすと動き回り、あるドメインから別のドメインへと移り回るスクレイパーを作り、情報を収集し、後で使えるようにその情報を格納できるようになっているでしょう。

正直な話、Webスクレイピングは、比較的わずかな初期投資で、莫大な払い戻しが受けられる素晴らしい分野です。Webスクレイピングプロジェクトの90％は、この6章分で述べる技術を利用しているはずです。第Ⅰ部では、普通の（技術オタクを除いた）人々が「Webスクレイパー」と聞いて考えるだろう次のような事柄を扱います。

• ドメイン名からHTMLデータを取り出す
• 目的の情報をデータからパースする
• 目的の情報を格納する
• 必要なら、他のページに移って、プロセスを繰り返す

第II部のより高度で複雑なプロジェクトに移行する前にしっかりした基礎をここで築きます。この第1部は、後半のプロジェクトほどには重要でないなどという馬鹿げた考えを抱かないでください。Webスクレイパーを書く日常業務では、本書前半のほぼすべての情報を使うでしょう。