信頼性の高い機械学習 ―SRE原則を活用したMLOps

9章モデルの監視と可観測性

執筆：Niall Murphy、Aparna Dhinakaran

寄稿／査読：Ely Spears、Lina Weichbrodt、Tammy Le

図表：Joel Bowman

運用システムの管理は、芸術と科学の中間のようなものです。このハイブリッドな学問にMLの複雑さが加わると、科学というよりアートのように見えます。今日私たちが行っていることは、明確に定義された空間というよりは、むしろフロンティアのようなものです。本章では、ML運用システムを監視、観察、警告する方法について知っていることを概説し、組織内で実践を発展させるための提案をします。

9.1　運用監視とは何か、なぜ行うのか

本章では、MLを使ってシステムを監視するのではなく、MLを実行しているシステムを監視する方法について説明します。後者はAIOpsと呼ばれることもあります。

それでは理解しやすくするために、複雑なMLを使わない場合の運用環境の監視について一般的に話しましょう。定義から始めるのが一番良いでしょう。監視（モニタリング）は、最も基本的なレベルで、システムの性能に関するデータを提供します。データは何らかの合理的な方法で保存、アクセス、表示可能になります。可観測性（オブザーバビリティ）とは、ソフトウェアの属性であり、ソフトウェアが正しくプログラミングされていれば、（通常はラベル付けやタグ付けなど、何らかの方法で拡張または展開されている）出力された監視データを使用して、システムの動作を正しく推測できることを意味します†1。

[†1] 監視なしに可観測性を得ることはできませんが、逆に、詳細に検査する能力がなくても粗いレベルの検出を行うことは可能です。しかし、この方向性は業界には向いていません。 ...