PythonによるWebスクレイピング 第3版

11章汚いデータの取り扱い

ここまでの章では既にフォーマットの整っているデータソースを使用してきたため、フォーマットに問題のあるデータを考慮する必要はありませんでした。しかし実際にはデータの取得先や形式について、あまり選り好みすることはできません。

Web上には、区切り文字の間違い、一貫性のない大文字小文字、改行、スペルミスなどによる汚いデータが存在し、それらが大きな問題になっています。本章ではコードの書き方を見直し、データベースに保存するデータをクリーニングすることで、この問題を根本的に防ぐためのツールやテクニックを紹介します。

ここではWebスクレイピングとその関連分野であるデータサイエンスの内容が関わってきます。「データサイエンティスト」という肩書きは、最先端のプログラミング技術や高度な数学を連想させますが、実際には地道な作業であることが多いのです。集めたデータを用いて機械学習モデルを構築するには、何百万ものレコードをクリーニングしたり、データを正規化する必要があり、それはデータサイエンティストの仕事です。

抽出、変換、ロード

ETL（抽出、変換、ロード）は、プログラミング、特に産業界でよく使われる概念です。データをある場所から別の場所へ移動したり、その過程でデータを変換することに、多くの企業が業務として取り組んでいます。データはあるソースから抽出され、ビジネスプロセスによって変換が行われ、別のソースにロードされます。

本書の大半はETLの「E」に関わる内容、つまりWeb上のソースからデータを抽出することに焦点を当てています。また「9章　データの格納」ではETLの「L」であるデータのデータベースへのロードについて扱います。

本章はETLの「T」、つまりデータの変換に焦点を当てています。データの変換については本章と合わせて、 ...