MLOps実装ガイド ―本番運用を見据えた開発戦略

はじめに

MLOps開発の専門家として、データサイエンスの実践を構築する企業全体で以下のようなシナリオが繰り広げられるのをよく目にしてきました。

従来、企業がデータサイエンスの実践を構築する際には、小規模なチームがまずラボでモデルを作成することから始めるのが一般的でした。このチームは、しばしばメンバーそれぞれが自分のノートパソコンで作業し、小規模で手動で抽出されたデータセットを使用していました。また、モデルは本番環境とは切り離された状態で開発され、その結果は手作業でアプリケーションに組み込まれていました。そして、モデルが完成し、十分な精度で予測できるようになった後、真の課題である「モデルを本番環境に導入し、実際のビジネス価値を生み出す」というプロセスが始まるのです。

この時点で、企業は本番用データの取り込み、大規模な訓練、リアルタイムでのモデルサービング、本番環境でのモデルのモニタリングや管理といった課題に直面します。これらの障壁を克服するには通常数か月を要し、その間に多大なリソースと時間が費やされ、大きなコストとなることがよくあります。

AIパイプラインは分断されており、各チームが独立して作業し、多種多様なツールやフレームワークを使用していますが、それらが必ずしも互換性を持つとは限りません。その結果、リソースが大幅に無駄になり、企業はデータサイエンスへの投資を十分に活かすことができない状況に陥っています。Gartnerによると、データサイエンスプロジェクトのうち85%ものプロジェクトが期待に応えられていないというデータがあります（https://oreil.ly/hqsHu）。

本書では、モデルを本番環境に導入する際の、こうした既存の課題を解決するための意識改革を提案します。それは、従来のアプローチを見直し、本番優先のアプローチを採用することです。このアプローチでは、モデルの構築からではなく、まず連続的な運用パイプラインの設計から始めます。その上で、さまざまなコンポーネントや実践方法がこのパイプラインに適合するようにします。可能な限り多くのコンポーネントを自動化し、プロセスを迅速かつ再現可能にすることで、このパイプラインは組織のニーズに応じて拡張し、動的かつ企業のMLOpsニーズに対応しながら素早くビジネス価値を提供できるようになります。 ...