コンピュータビジョンのための実践機械学習 ―モデルアーキテクチャからMLOpsまで

8章モデルの品質と継続的評価

本書ではここまで、モデルの設計方法と実装方法について説明してきました。本章では、モニタリングと評価という話題に入っていきます。高品質なモデルを作ることは重要ですが、その品質を維持することももちろん重要です。運用を最適なものにするには、モニタリングにより何が起きているかを把握し、さまざまな評価尺度を計算し、モデルの品質を把握し、性能を継続的に評価していくことが重要なのです。

8.1　モニタリング

さて、みなさんは、数百万枚の画像を使ったモデルの学習を終え、その品質には非常に満足しているとします。モデルをクラウドにデプロイしたので、あとは未来永劫、モデルが素晴らしい予測をしてくれるのを楽しみにするだけです……そうですよね？ いいえ、そうではありません！ 小さな子供が1人では自分で自分の面倒をみられないのと同じように、私たちも自分たちのモデルを野放しのまま、1人にしておきたくはないのです。大切なことは、モデルの品質（正解率などの指標）や計算性能（1秒あたりのクエリ数、遅延など）を常にモニタリングすることです。これは、新しいデータでモデルを再学習する場合には特に重要です。新しいデータは分布が変わっていたり、間違ったデータを含んでいたり、私たちが知っておく必要のある問題を含んでいたりするからです。

8.1.1　TensorBoard

機械学習に携わっている人は、モデルの学習の間はあまり仔細を気にしないことも多いでしょう。学習ジョブを投入し、ジョブが終了するまでときどきチェックし、次に、学習されたモデルを使って予測を行い、その性能を確認します。学習ジョブが数分で終わるのであれば、これは大した問題にはならないかもしれません。しかし、数百万枚の画像を含むデータセットを利用するようなコンピュータビジョンのプロジェクトでは、学習ジョブに数日から数週間かかることがあります。学習の初期段階で何か問題が発生し、学習が完了するまで、あるいはモデルを使って予測を行うまで気づかなかったとしたら非常に問題です。 ...