信頼性の高い機械学習 ―SRE原則を活用したMLOps

5章モデルの確実性と品質の評価

モデル開発者が運用に投入できるモデルを作成しました。あるいは、現在稼働しているモデルを置き換えるため、更新バージョンのモデルが準備できました。スイッチを入れて、この新しいモデルを重要な場面で使い始める前に、2つの大まかな質問に答える必要があります。1つ目は、モデルの確実性を確立することです。2つ目は、モデルの品質についてです。新しいモデルは役に立つでしょうか。

このような質問は単純なものですが、答えを出すには深い調査が必要な場合があり、多くの場合、様々な専門分野の人々の協力が必要となります。組織の観点から見ると、このような調査が慎重かつ徹底的に行われるよう、しっかりとしたプロセスを開発し、それに従うことが重要です。私たちの内なるエジソンに倣えば、モデル開発は1％のひらめきと99％の検証であると言えるでしょう。

本章では、確実性と品質に関する問題を掘り下げ、MLOps担当者がこの2つの問題に取り組むのに十分な背景を説明します。また、実用的なデプロイメントを行う上で必要とされる事柄、すなわち適切な注意、慎重さ、厳密にこれらの問題が扱われることを確実にするためのプロセス、自動化、そして強力な文化を構築する方法について時間をかけて説明します。

図5-1に、モデル開発の基本的なステップと、その中で品質が果たす役割の概要を示します。本章では評価と検証の手法に焦点を当てますが、これらのプロセスは繰り返しながら時間をかけて行われる可能性が高いことに注意してください。これらのトピックについては10章を参照してください。

図5-1　モデル開発のサイクル

5.1　モデルの確実性の評価

全ての人間は何らかの形で検証を切望していますが、私たちMLOps関係者も同じです。実際、 ...