マシンラーニング本番システム

第8章 モデル分析 モデル分析

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

モデルのトレーニングに成功し、収束させることができると気分がいい。クラスのプロジェクトや論文執筆のためにモデルをトレーニングしているのであれば、もう終わったようなものだ。しかし、本番用のMLでは、トレーニングが終わった後、いくつかの異なる方向から、より深いレベルでモデルの性能を分析する必要がある。それがこの章だ。

モデルのパフォーマンスを分析する

トレーニングやデプロイの後、モデルのパフォーマンスが低下していることに気づくかもしれない。モデルのパフォーマンスを向上させる方法を決定することに加え、一般的にドメインに大きく依存する、将来予想されるデータの変化を予測し、最初にモデルをトレーニングした後に発生した変化に対応する必要がある。

これらのタスクはどちらも、モデルのパフォーマンスを分析する必要がある。このセクションでは、モデル分析の基本を復習する。モデル分析を行う際には、データセット全体だけでなく、興味深い特徴によって「スライス」された小さなデータの塊についても、モデルのパフォーマンスを調べたい。スライスを見ることで、データセット全体を見るよりも、個々の予測の分散をよりよく理解することができる。

分析するために重要なスライスを選択することは、通常ドメイン知識に基づいている。モデルで使用されるすべてのフィーチャーをスライスすることで、洞察を得ることができるが、そうすることで、管理しやすく分析するにはスライスが多すぎるかもしれない。さらに、モデルが直接使用しない属性でスライスすることも有用である。例えば、画像のバイトだけが特徴の画像分類器は、各画像に使用されたラベル生成ロジックのバージョンに関連するメタデータでスライスする利点があるかもしれない。

最終的に、モデル分析は、モデルの関連する振る舞いを理解するのに役立つ最小数のスライスを発見することに帰着する。これは、多くの場合、ドメインとデータセットに関する知識を必要とする。これにより、スライス間でモデルに改善の余地があるかどうかを判断することができる。例えば、あなたのモデルが異なる種類の靴の需要を予測するように設計されている場合、個々の靴の種類、おそらく異なる色やスタイルに対するモデルのパフォーマンスを見ることは重要であり、これを知ることは、主にドメインについて知ることの結果となる。

高度なレベルでは、モデルのパフォーマンスを分析する主な方法は2つある：ブラックボックス評価とモデル・イントロスペクションである。また、性能メトリックと最適化オブジェクトを分析することで、モデルの性能に関する重要な洞察を得ることができる。それぞれを順番に見ていこう。

ブラックボックス評価

ブラックボックス評価では、一般的にモデルの内部構造は考慮しない。あなたは、メトリックと損失を通じてモデルのパフォーマンスを定量化することだけに興味がある。通常の開発過程ではこれで十分なことが多い。

TensorBoardは、ブラックボックス評価のためのツールの一例である。TensorBoardを使えば、モデルの各反復の損失と精度をモニターできる。また、トレーニングプロセス自体を詳細に監視することもできる。

パフォーマンス・メトリクスと最適化オブジェクト

次に、パフォーマンス・メトリクスと最適化の違いを見てみよう。

まず、パフォーマンス・メトリクスだ。解決しようとしている問題に基づいて、モデルの成功を何らかの測定で定量化する必要があり、そのために様々なパフォーマンス・メトリクスを使用する。パフォーマンス・メトリクスは、分類や回帰など、タスクの種類によって異なる。これらは、モデルを設計し訓練するときに使用するメトリックである。 ...