AutoMLを学ぶ (Japanese Edition)

第4章 自動化された データ前処理と特徴量エンジニアリング

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

不十分なデータ前処理がもたらす実際のコストを痛感させられたあのプロジェクトは、決して忘れることはないだろう。2006年のことだ。私は当時、電子カルテを用いて保険料算定プロジェクト向けに患者の再入院リスクを予測しようとしていたコスト最適化スタートアップ企業にコンサルティングを行っていた。 3ヶ月後、同社は時間の80%をデータ品質の問題との格闘に費やしていたが、依然として有意義なモデルを1つたりとも学習できていなかった。最終的に、最新のAutoMLテクニックを用いて前処理パイプラインの大部分を自動化したところ、劇的な変換が起きた。3ヶ月かかっていた手作業が、自動化処理なら3日分に短縮されたのだ。

この経験は、機械学習に関する根本的な真実を浮き彫りにした。データ前処理は単なる「必要悪」ではなく、プロジェクトの成功や失敗を左右する最も重要な要素であることが多いのだ。データサイエンティストの時間の80%をデータ準備に費やすという有名な格言は、単なる俗説ではない。複数の業界アンケートによって妥当性確認が行われている。 CrowdFlower（現Appen）の調査によると、データサイエンティストは時間の80％をデータの発見、クリーニング、整理に費やしている。2023年の企業MLチームを対象とした調査では、 データ前処理と特徴量エンジニアリングがプロジェクト時間の平均76％を占め、実際のモデル開発と評価に費やされたのはわずか24％だった。

注

本章のすべてのコード例はテストおよび妥当性確認済みだ。完全な実装、詳細な出力、実験的なバリエーション、および追加の高度なテクニックについては、付属のJupyterノートブックChapter4.ipynbを参照のこと。

作業用データセット：RetailMart Eコマースプラットフォーム

この『 』の章では、架空のオンラインマーケットプレイス「RetailMart」からの包括的なECデータセットを使用する。このデータセットは、複数のモダリティ、品質の問題、多様な特徴量タイプなど、実世界のデータに内在する複雑さと課題を網羅している。一貫して単一のデータセットを使用することで、異なるデータ前処理テクニックが実際にどのように連携して機能するかを理解しやすくなる。

RetailMartデータセットには以下が含まれる：

• 商品：価格、カテゴリ、説明、評価、在庫水準などの属性を持つ、様々なカテゴリにわたる5,000点の商品

• レビュー：評価、コンテンツ、検証ステータス、タイムスタンプを含む15,000件の顧客レビュー

• 売上： 販売数量、売上高、季節的なパターンを含む日々の 販売トランザクション

• 画像： ファイルサイズや計算された特徴量を含む、商品画像のメタデータ

まずはこのデータセットを検証し、その構造を理解することから始めよう：

# Create a comprehensive RetailMart e-commerce dataset
import pandas as pd
import numpy as np
from datetime import datetime, timedelta
import random
 
def create_retailmart_dataset(n_products=5000,