PythonによるWebスクレイピング 第3版

I部スクレイパーの作成

この第I部では、Webスクレイピングの基本的な仕組みに焦点を当てています。Pythonを使った、Webサーバーへのリクエストの送信、レスポンスの処理、Webサイトとのデータのやり取りを自動化する方法などを説明します。最終的には、インターネットを簡単に巡回し、ドメインをまたいで情報を収集し、その情報を後で使用できるように保存するスクレイパーを作成できるようになっているでしょう。

正直なところ、比較的少ない先行投資で大きな報酬を得たいのであれば、Webスクレイピングは威力を発揮できるでしょう。おそらく、これから遭遇するWebスクレイピングプロジェクトの90%は、1章から6章で使われるテクニックを利用しているでしょう。この第I部では、技術的には詳しい人が、一般的に「Webスクレイパー」と聞いて思い浮かべると思われる、次のトピックについて説明します。

• ドメイン名からHTMLデータを取得する。
• データをパースして目的の情報を得る。
• 取得した情報を格納する。
• 必要であれば、別のページに移動して処理を繰り返す。

第I部を読むことにより、第II部のより複雑なプロジェクトに進む前に、しっかりとした基礎を身につけることができます。第II部以降のより高度なプロジェクトよりもこの第I部は重要性が低いと考えてはいけません。Webスクレイパーの作成には、本書の前半で書かれているほぼすべての情報を日常的に使うことになります。