Databricks による MLOps (Japanese Edition)

マテイ・ザハリアによる序文

機械学習やAIを本番環境に導入する際、重要なのはモデルだけではない。作業の大部分、そしてリスクの大部分は、それを取り巻く運用プロセスにある。つまり、何をどのように構築したかをトラッキングし、数ヶ月後に結果を再現し、安全にデプロイし、いつ静かに動作しなくなったかを把握することだ。組織がモデル、そして現在ではAIエージェントの本番導入を急ぐ中、こうした作業の重要性はますます高まっている。

私はキャリアの多くをこの課題に取り組んできた。MLflowを開発していた頃、あらゆるチームの口から同じ声が聞かれた。「機械学習の開発は、従来のソフトウェアとは異なる複雑さを伴う」というのだ。組み合わせるツールが多すぎる上、結果に何が含まれているかをトラッキングするのが難しく、後で再現するのも困難であり、モデルをデータサイエンスのノートブックから本番環境へ移行させるのも一苦労だ。これらはいずれもアルゴリズムそのものとは無関係である。 私たちはMLflowをオープンなプラットフォームとして構築し、チームを特定のスタックに縛り付けることなく、あらゆるライブラリやツールと連携できるようにした。その後、そのアプローチを拡張し、Unity CatalogにおいてデータとAIを一体的に管理できるようにした。一貫した目標は、MLおよびAI開発を、最高水準の従来のソフトウェアと同様に堅牢かつ予測可能なものにすることだった。

これまで欠けていたのは、これらの要素をつなぐリソースだった。MLエンジニアリングにおける個々のツールに関するチュートリアルは数多いが、実務者たちは、最初のノートブックから、チームが信頼できる監視・ガバナンスの行き届いたAI製品に至るまで、それらがどのように一貫した実践に組み込まれるかを示すガイドを求めていた。本書は、マリアが複数の企業で成功したML製品を構築してきた豊富な経験に基づき、まさにそれを提供するものだ。

本書は原則を第一に掲げ、コードを豊富に盛り込んでいる。従来のMLにとどまらず、エンジニアリングと運用プロセス全体を網羅している。モデルをノートブックから本番環境へと導くライフサイクルは、LLMベースのシステムやエージェント型システムにも拡張され、実際のアプリケーションがエンドツーエンドで構築される。この両方の領域をカバーする書籍は少なく、両者にどれほど共通点があるかを示すものはさらに稀だ。ツールは変わり続けるだろう。しかし、トレーサビリティ、再現性、可観測性、信頼性という原則は変わらない。

ノートブック上のモデルと本番環境のシステムとの間の隔たりを埋めることは、かつてないほど価値のあることだ。本書は、豊富な経験に基づき、明確かつ分かりやすい方法でその方法を示している。

マテイ・ザハリア

Databricks CTO兼共同創業者