実践者向けの説明可能なAI

付録 分類、テクニック、さらなる読み取り

将来、本書を利用する際に役立つように、本書で扱ったトピックとテクニックの簡単なレビューをまとめた。これらのガイドと表は、今後、新しい問題に対して、より詳細に飛び込む前に、素早く選択肢を調査するための参考資料として使うことができる。

MLコンシューマ

、MLを消費し対話するユーザには3つのタイプがある：

MLプラクティショナー

モデルの構築、開発、チューニング、デプロイ、運用を行うデータサイエンティストとMLエンジニア。

可観測性

ビジネス利害関係者や規制当局は、モデルのエンジニアリングに関与しておらず、またデプロイでモデルを使用していない。彼らは、モデルの性能を検証し、モデルが期待通りに機能しているという信頼を構築するために説明を使用する。

エンドユーザ

モデルの予測を利用する、あるいは影響を受けるドメインの専門家や影響を受けるユーザ。彼らは、MLやドメインに関する背景知識がほとんどなくても、モデルが演算するコンテキストを深く理解しているかもしれないし、モデルの予測結果によって影響を受けるかもしれない。

説明可能性の分類法

説明可能性の分野を定義するのに役立ついくつかの特徴がある。それらは以下の通りである：

説明可能性対インタプリタビリティ

、業界では同じ意味で使われることもあるが、我々は説明可能性を、予測（または予測群）に基づいてモデルを説明するテクニックとして定義する。このテクニックは、説明を生成するためにモデルのアーキテクチャの側面に依存することはあるが、モデル自体がどのように動作するかを理解する必要はない。対照的に、インタプリタビリティは、インタプリタビリティのテクニックがモデルのアーキテクチャと振る舞いの基本的な側面であるため、予測なしでモデルの振る舞いに関する洞察を提供することができる。

データ中心かモデル中心か

このテクニックは、、データセットとその構造がモデルの予測にどのような影響を与えるかについての理解を提供したり、モデル自体の振る舞いを説明したりする。例えば、データ中心の説明可能性へのアプローチには、TracIn、影響関数、TCAV（「代替入力の帰属」参照）のようなテクニックがある。モデル中心の説明可能性のアプローチは、モデルやモデルアーキテクチャ自体の側面に重点を置いている。これには、本書の第3章、第4章、第5章で議論されているテクニックが含まれる。

モデル中心のメソッドを考えるとき、最も一般的に使われている説明可能性のテクニックは、3つの軸で特徴づけることができる：

本質的対事後的

本質的説明は予測の一部である。本質的とは、本質的にインタプリタ可能なモデルを意味する。つまり、モデルそのものを見るだけで、そのモデルがどのように予測を行っているかを理解できるほど、構造が単純である。例えば、線形モデルの学習された重み、または決定木で学習された分割は、モデルがなぜそのような予測をするのかを解釈するために使うことができる。ポスト・ホック説明は、モデルが学習された後に実行され、説明を作成するために予測に依存する。ポスト・ホック・メソッドでは、訓練されたモデルとデータを使って、なぜ特定の予測がなされるのかを理解する。場合によっては、ポストホックメソッドは、本質的な説明可能性を持つモデルにも適用できる。

モデル固有かモデル不可知論か

モデル非依存的（Model agnostic）とは、説明可能性の手法がどのようなモデルにも適用できるのに対し、モデル特異的な手法は特定のモデルタイプにしか適用できないことを意味する。例えば、ニューラルネットワークにしか使えないような手法は、モデル固有とみなされる。もし説明可能性メソッドが学習済みモデルを不透明なモデルとして扱うなら、それはモデル不可知論とみなされる。 ...