PythonによるWebスクレイピング 第3版

3章Webスクレイピングアプリケーション

Webスクレイパーは、ほとんどすべてのビジネスに役立たせることができます。そして、その本当のコツは「どのように」を見つけ出すことでしょう。人工知能や一般的なプログラミングのように、魔法の杖を振るように収益を向上させることはできません。

この技術をビジネスに応用するには、それを効果的に使用するための、真の戦略と慎重な計画が必要です。問題を具体的に特定し、それを解決するためにはどのようなデータが必要かを考え、そしてWebスクレイパーにそのデータを作成させるためのインプットとアウトプット、アルゴリズムについて説明する必要があります。

3.1　プロジェクトの分類

Webスクレイピングプロジェクトを計画する際には、それがいくつかのカテゴリのどれに当てはまるかを考える必要があります。

そのWebスクレイパーは、ターゲットを絞ったもの（targeted）ですか？ それとも広域を巡回するものですか？ ターゲットを絞ったものであれば、そのターゲット向けの指示を記述したテンプレートを作ることができますが、広域を巡回するようなWebスクレイパーには別のテクニックが必要になります。

• 1つのWebサイト、あるいはそのWebサイト内の決まった一連のページのみをスクレイピングするものでしょうか？ もしそうであれば、これは非常にターゲットを絞ったWebスクレイピングプロジェクトであると言えます。
• 既に決められたいくつかのWebサイトをスクレイピングする必要がありますか？ これは、まだターゲットを絞ったWebスクレイピングプロジェクトと言えますが、各Webサイトごとにコードをカスタマイズする等、Webスクレイパーの設計に多少の時間を使うことが必要でしょう。
• 大量の未知のWebサイトをスクレイピングし、新しいターゲットを動的に発見する必要はありますか？ ...