Node.jsプロジェクト ―実践的なWebアプリケーションとバックエンドAPIの構築

9章Webスクレイパー

この章では、以下の内容を扱う。

• HTMLページからコンテンツをスクレイピングする。
• ヘッドレスブラウザーを実行する。
• スクレイピングしたデータを収集し、整形して出力する。

この章では、HTMLページのコンテンツを収集してNodeサーバーで処理する、Webスクレイパー（Webスクレイピングツール）を作成する。Webスクレイピング（Web scraping）とはWebサイトからデータを抽出するプロセスのことを言い、インターネットそのものと同じくらい古くから存在している。

企業によってAPIが公開され、アクセスできるようになるまでは、更新された製品価格、即時のニュースヘッドライン、静的なWebコンテンツなどを取得する唯一の方法は、手動でWeb URLにアクセスし、Webページを直接参照することだった。これは、今日でも我々が主にインターネットを利用している方法と同じものだ。

現在では、データを処理して利用する方法は以前よりも増えているが、それらの処理システムにデータを供給するAPIの数はまだ十分ではない。APIが存在していても、エンドユーザーがアクセスできるデータの種類が制限されている場合がある。たとえば、フードデリバリーサービスは、近隣の人気レストランに関するAPIは提供するかもしれないが、食事制限によるフィルタリングには対応していないかもしれない。そのようなデータを取得するために、もう1つの方法として、食事制限によってフィルタリングされた結果のURLにアクセスし、結果のコンテンツをスクレイピングすることができる。この章では、Webページをスクレイピングして、そのデータを自分のアプリケーションで使用するために、Nodeのエコシステム内で利用可能な手法を見ていく。 ...