AutoMLを学ぶ (Japanese Edition)

エピローグ：静かなAutoML革命

ここまで読み進めたなら、あなたは大きな成果を上げたことになる。 ハイパーパラメータの最適化、ニューラルアーキテクチャ検索、自動特徴量エンジニアリングといった、現代の自動機械学習を支えるテクニックを習得した。表形式データ、テキスト、画像、時系列データ向けのパイプラインを構築した。MLflow、Kubeflow、Airflowを使ってモデルを本番環境にデプロイした。不正検知から需要予測、再入院予測に至るまで、業界を問わずAutoMLがどのように機能するかを目の当たりにした。

今や君は、10年前なら習得するのに何年もの特殊化されたトレーニングを要したであろうスキルを身につけている。

そして今、君に伝えたいのは、君が学んだばかりのAutoMLが、すでに全く別のものへと変換しつつあるということだ。

慌てる必要はない。これは「釣り広告」ではない。本書の内容はすべて依然として価値がある。実際、5年前よりもさらに価値が高まっている。しかし、これらのスキルが機能するコンテキストは急速に変化しており、これから起こることに備えさせずに世の中に送り出すのは、あなたに対する不誠実な行為だ。

AutoMLの未来は、ハイパーパラメータのチューニングを向上させることではない。モデルがなぜ失敗したのか、どのようなデータが必要なのか、そしてどう自らを修正すべきかを推論できるシステムにあるのだ。我々は自動化から自律性へと移行しつつある。そして、本書で学んだことを理解することが、次の段階を構築し、管理するための前提条件となるのだ。

当初の約束、実現

ここで、AutoMLが実際に成し遂げたことを振り返ってみよう。

AutoGluon、Auto-sklearn、H2Oといったツールが登場する以前、実運用品質の機械学習モデルを構築することは、骨の折れる、エラーが発生しやすいプロセスだった。データサイエンティストは特徴量エンジニアリングに数週間を費やし、何かが機能するまで変換の組み合わせを試行錯誤していた。モデルの選択には数十の実験が必要で、体系的な探索というより直感に頼ることが多かった。ハイパーパラメータのチューニングといえば、一晩中、あるいはそれ以上かけてグリッド検索を実行するもので、デフォルト設定より優れた結果が見つかる保証はなかった。

「ラストマイル」の問題は現実のものだった。組織にはデータがあり、問題解決が必要なビジネス上の課題があり、AIイニシアチブに資金を提供する意思のある経営陣もいた。しかし、彼らに欠けていたのは、これらの「難解な技術」を信頼性を持って扱える人材が十分にいなかったことだ。

AutoMLはそれを変えた。第II部で学んだテクニック——ベイズ最適化、マルチフィデリティメソッド、早期停止戦略——は、データサイエンティストの時間を大きく奪っていた、退屈でパターンと繰り返しのある作業を自動化した。 第3部で実践したツール——TabularPredictor、MultiModalPredictor、TimeSeriesPredictor——は、品質を犠牲にすることなく複雑さを抽象化した。そして第4部で習得した統合パターンは、これらの機能を実際の本番システムに組み込む方法を示した。

民主化は実際に実現した。今日では、ドメインの専門知識を持つ有能なアナリストであれば、10年前なら専門の博士号を持つ者でなければ構築できなかったようなモデルを構築できる。AutoMLはデータサイエンティストに取って代わったわけではない。彼らを一段高いレベルに引き上げ、問題の枠組みの構築、ステークホルダーとのコミュニケーション、そしてマシンには答えられない真に難しい質問に集中できるよう解放したのだ。 ...