PythonによるWebスクレイピング 第3版

9章データの格納

Webスクレイパーで収集した情報を端末に出力することは楽しいですが、それだけではあまり役に立ちません。集めたデータを蓄積し分析で活用するためには、それらの情報をどこかに保存する必要があります。

この章では3つの主なデータ管理方法について説明します。これらはほぼすべてのアプリケーションについても役に立つでしょう。Webサイトのバックエンドや独自のWeb APIを作成する必要があるなら、スクレイパーで集めたデータはデータベースに保存するとよいでしょう。インターネットから収集したデータを自分のローカル環境に保存しておけばよいのであれば、ファイルストリームを作る方が高速でかつ簡単でしょう。時々警告を発生させたり毎日データを集約したいのであれば、自分にメールを送信するとよいでしょう。

現代の多くのプログラミングアプリケーションにとって大量のデータを保存し操作する能力はとても大切です。それはWebスクレイパーも例外ではありません。実際この章の情報は、後の節で紹介する例を実装するためにも必要です。

9.1　メディアファイル

メディアファイルの保存方法としては、参照を保存する方法とファイル自体をダウンロードする方法の2種類があります。参照を保存する方法とは、ファイルのURLを保存するということです。そのためファイルをダウンロードはしません。この方法には次の利点があります。

• ファイルをダウンロードする必要がないので、処理を高速にでき帯域幅もそれほど必要としない。
• URLを保存するだけなので、消費するマシンの容量を節約する。
• URLを保存するだけでよく、ファイルをダウンロードするコードを実装する必要がない。
• 大きなファイルをダウンロードしなくて済むので、ホストサーバーの負荷を軽減できる。 ...