AutoMLを学ぶ (Japanese Edition)

第7章 表形式データのためのAutoGluon

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

2021年 、私はある小売企業で働いていたが、同社は数ヶ月にわたり顧客獲得モデルの構築に苦戦していた。同社のデータサイエンスチームのメンバーは、数週間にわたり複雑な特徴量エンジニアリングのパイプラインを構築し、様々なアルゴリズムを試行し、ハイパーパラメータを手動で調整していた。しかし、その努力にもかかわらず、見込み客が顧客に転換するかどうかを予測する精度は82%にとどまり、ビジネスルールに基づくアプローチと大差なかった。

興味本位で、AutoGluonのデータセットにTabularPredictorを試してみることを提案した。30分もかからずに、わずか3行のコードで89%の精度を達成する実用的なモデルが完成した。 これは単なる妥当性確認性能にとどまらなかった。モデリング開始前に確保しておいた完全なテストセットでも、このモデルは87%の精度を維持し、デプロイ後はその後の3ヶ月間、新規リードに対して一貫して85%～88%の精度を達成した。妥当性確認から本番環境への移行に伴うわずかな精度の低下は典型的で予想されることだが、重要なのは、チームが手作業で構築した82%のモデルを大幅に上回ったという点だ。

チームのデータサイエンティストたちは当初、懐疑的だった。自動システムが、彼らが丹念に作り上げたモデルを上回るなどあり得るだろうか？しかし、AutoGluonのアプローチを深く掘り下げていくうちに、彼らが考慮していなかったいくつかの高度なテクニックが自動的に実装されていることが判明した。スタックされたアンサンブル、高度なカテゴリカルエンコーディング手法、そして複数のアルゴリズムファミリーにわたるハイパーパラメータの最適化である。

この経験は、表形式データに対する現代のAutoMLの威力を如実に示している。表形式データは画像やテキストに比べれば「単純」に見えるかもしれないが、そこには独自の課題が存在し、AutoGluonのようなAutoMLシステムはそれらを極めてうまく処理する。表形式データセットには、しばしば混合データ型、欠損値、複雑な特徴量の相互作用が含まれており、慎重な前処理が必要となる。これらはすべて、自動化によって効率性と結果の両方を劇的に改善できる領域である。

この章では、構造化データ向けに利用可能な最も成熟した強力なAutoMLツールの一つである、AutoGluonのTabularPredictorについて深く掘り下げる。 まずは基本的な使い方から始め、実世界のデータセットを用いて実用的なアプリケーションを示しながら、徐々に高度な機能を掘り下げていく。この章を読み終える頃には、自身の表形式データの問題にAutoGluonを効果的に適用できるようになり、最適な結果を得るためにいつ、どのようにその振る舞いをカスタマイズすべきかを理解できるようになるだろう。

注

本章のすべてのコード例は、AutoGluon 1.4.0 を使用してテストおよび妥当性確認されている。より新しい安定版を使用している場合は、API、依存関係、または環境の変更について、最新の AutoGluon 文書化を参照すること。完全な実装、詳細な出力、実験的なバリエーション、および追加の高度なテクニックについては、付属の Jupyter NotebookChapter7.ipynb を参照すること。