効果的なマシンラーニングチーム

第9章. MLOpsとMLの継続的デリバリ(CD4ML)

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

不安がその姿を現すことが、すべてを動かす軸となる。

セーレン・キルケゴール『不安の概念

午前10時36分。ダナはインフラエンジニアのテッドとペアを組み、彼女のチームが数カ月前から取り組んできた新モデルのデプロイを行っている。部屋のエネルギーは決意と不安が入り混じっている。彼らは3週間モデルをテストしてきたが、次のハードルである本番へのデプロイには問題がつきものであり、何度も再試行を行ってきた。

デプロイスクリプト、構成ファイル、インフラコンポーネントの迷宮のような網をナビゲートしながら、ダナは何かがおかしいと感じずにはいられなかった。彼女は、テストデータセットが本番環境でのモデルを代表するものであるという確信が持てなかった。システムの複雑さには圧倒されるばかりで、可動部分の数が多すぎて、どこで問題が起こるか感覚をつかむのが難しかったのだ。

午後12時45分。ダナとテッドは10分前に最後のデプロイ作業を終えたが、アラートが次々と聞こえてくる。

午後7時10分。トラブルシューティングの末、ようやくデプロイが完了した。ダナとテッドは安堵の息を吐き、疲れ果てて家に帰った。

1週間が過ぎたある火曜日の朝、ダナはSlackのスクレイプ・トリプル・ノックを聞いた。午前8時45分、製品分析のサラからのメッセージだ。先週の木曜日のリリース以来、オンライン・ローンの申し込みが44％減少しているという。ダナはすぐにテッドに連絡し、2人はログに飛び込み、突然の落ち込みの原因を理解しようと必死になる。

徹底的な調査の後、彼らは、モデルが依存する重要な機能であるローンタイプが、UIでオプション・フィールドとしてセットされていることに気づく。多くのユーザがこの詳細を省略していたため、新しいモデルは不合理な結果を返し、ユーザはアプリケーションを途中であきらめることになった。

ダナは事態の深刻さを知り、心が沈んだ。彼女のチームがこの注目されるリリースのために費やした数ヶ月の仕事が水の泡になってしまったのだ。

MLソリューションを提供する際に感じる感情は、我々が注意を払うべき有用なシグナルである。例えば、プルリクエストやデプロイのたびに手作業でテストを繰り返していると、退屈で一般化した "うっ "と感じるかもしれない。2ヶ月に一度、コードとデータの大規模な変更を本番環境にデプロイするときに不安を感じるかもしれない。

この章では、MLモデルの開発、テスト、デプロイ、モニタリング、改善を確実かつ反復的に行うための2つの補完的な考え方について説明する。1つ目のMLOpsはおそらく聞いたことがあるだろう。2つ目のCD4MLは初めて聞くかもしれない。しかし、この章が終わる頃には、両者の役割を理解しているはずである。まとめてデプロイすることで、MLOpsとCD4MLは、デプロイ中や実稼働中の失敗のリスク、フィードバックまでの時間、認知的負荷、そして実稼働中のモデルを運用する上での一般的なストレスを軽減する。

MLOpsは日進月歩の分野だ。本稿執筆時点で、MLOpsの分野には20冊以上の書籍があり、さらに多くのライブラリーやプラットフォームが存在する。MLOpsのツールやプラクティスにおけるこのような進歩は素晴らしいが、私たちの経験では不十分でもある。MLOpsの文献や実践者は、"運用的 "なコンポーネント（インフラ、モデルデプロイ、監視ツール、ツール、プラットフォームなど）に焦点を当てがちであり、ソフトウェアエンジニアリングや社会文化的プラクティスの同様に重要な側面（テストの自動化、早期かつ頻繁なデプロイ、トランクベースの開発、継続的改善など）を軽視している。 ...