AutoMLを学ぶ (Japanese Edition)

第13章. AutoMLのデプロイ と継続的デリバリ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

からの電話は、土曜日の午前2時にかかってきた。新たにデプロイしたAutoMLを活用した不正検知システムが、過去1時間のトランザクションの94%を不正と判定していたのだ。本来なら0.1%程度であるべき数値だった。根本原因を特定するまでに、何千件もの正当な購入をブロックしてしまい、カスタマーサービスは大混乱に陥った。

この問題は、当社の自動監視システムによって発見された。同システムが不正フラグの異常な急増を検知し、PagerDutyのアラートを発動させたのだ。しかし、根本原因の調査には特徴量パイプラインのログを手動で検査する必要があり、そこでトレーニング時とは異なる方法で特徴量が計算される原因となる、微妙なタイムスタンプ処理のバグが見つかった。診断には4時間を要したが、特徴量の配布状況をより適切に監視していれば、この時間は短縮できたはずだ。モデルは、誤った入力に対しては正しく動作していた。

このインシデントから得た教訓は、本章全体の基調をなすものである。すなわち、トレーニング済みのAutoMLモデルと信頼性の高い本番環境へのデプロイとの間には、多くの組織が想定しているよりもはるかに大きく深い隔たりがあるということだ。AutoMLはモデル作成を民主化するが、本番環境へのデプロイに伴う課題を自動的に解決するわけではない。むしろ、モデル作成の容易さは、厳格なデプロイ実践の重要性を増幅させる。なぜなら、AutoMLを利用する組織は、従来のMLワークフローに比べて、モデルをより頻繁にデプロイし、モデルごとの精査を怠りがちだからだ。

AutoMLのデプロイにおける根本的なジレンマは、相反する要件に起因する。一方で、AutoMLの利点には迅速な反復が含まれる。つまり、新しいデータが入手可能になったり、ビジネス要件が変化したりした際に、改良されたモデルを素早くデプロイできるということだ。他方で、本番システムには安定性、信頼性、そして変更がユーザに届く前の徹底的な妥当性確認が求められる。このジレンマを解決するには、自動化された機械学習の固有の特性に合わせて特別に設計されたデプロイ手法が必要となる。

注

この章のすべてのコード例は、AutoGluon 1.4.0でテストおよび妥当性確認済みだ。完全な実装、詳細な出力、実験的なバリエーション、および追加の高度なテクニックについては、付属のJupyterノートブックChapter13.ipynbを参照のこと。

AutoGluonは現在も開発が進められている。最新の文書化やインストール手順については、AutoGluonのWebサイトを参照のこと。

AutoMLデプロイ特有の課題

AutoML（）のデプロイにおける課題は、従来のソフトウェアデプロイや手動による機械学習デプロイとは大きく異なる。効果的なデプロイ手法を設計するには、これらの違いを理解することが不可欠だ。

AutoMLによって生成されるモデルの不均一性が、最初の大きな課題となる。従来のMLデプロイメントでは、通常、メモリ要件が明確で、遅延が予測可能、依存関係が一貫しているなど、特性が十分に理解された手作業で作成されたモデルが用いられる。対照的に、AutoMLシステムは、単純な線形モデル、複雑なディープニューラルネットワーク、あるいは数十種類の多様なアルゴリズムを組み合わせたアンサンブルモデルを生成する可能性がある。それぞれのバリエーションは、リソース要件、依存関係のニーズ、パフォーマンス特性が異なる。 ...