PythonによるWebスクレイピング 第3版

II部高度なスクレイピング

第I部で、Webスクレイピングの基礎をある程度身につけられたので、この第II部ではWebスクレイピングを楽しみましょう。これまでに作成したスクレイパーは、比較的簡単なもので機能が限られていました。サーバーが適切な形式のデータを返さなければ、欲しい情報を取得できませんでしたし、取得した情報も適切に処理せず、そのまま保存していました。フォームやWebサイトの操作、JavaScriptですら正しく扱えません。つまり、実際に欲しい情報をそのままの形でサーバーが返さない限り、使い物になりませんでした。

この第II部では、生データを分析し、データの背後にあるストーリー（WebサイトではJavaScriptやログインフォーム、スクレイピング対策のレイヤーの裏に隠されていることが多いストーリー）の理解を促します。その上で、Webスクレイパーを使って、サイトのテスト、プロセスの自動化、大規模なインターネットへのアクセスなどを行う方法を学んでいきます。第II部を読み終わるころには、インターネットのあらゆる場所から、あらゆるフォーマットのほぼあらゆる種類のデータを収集し、操作できるツールを手に入れることができるでしょう。