PythonによるWebスクレイピング 第2版

第II部高度なスクレイピング

Webスクレイピングの基本作業は終わりました。これからは、お楽しみの部分です。ここまで、Webスクレイパーは、比較的おとなしいものでした。取得する情報は、サーバにきちんとフォーマットされ、すぐにアクセスできるものだけでした。すべての情報をそのまま受け取り、何の分析もせずに格納していました。フォームやWebサイトとのやり取り、JavaScriptは抜かしました。つまり、取得できる用意の整った情報でないと、取り出すことができませんでした。

第II部は、生データを分析して、データの背後にあるストーリー、Webサイトが、JavaScript、ログインフォーム、スクレイピング対策といったレイヤーの下に隠しているストーリーを取り出します。Webスクレイパーをどのように使って自分のサイトをテストし、プロセスを自動化し、インターネットを大規模にアクセスするかも学びます。第II部の終わりには、ほぼすべての種類のデータを、あらゆる形式で、インターネットのどこからでも収集できるツールが得られているはずです。