実践者向けの説明可能なAI

序文

機械学習（ML）モデルを開発する際、皆さんはきっとこんな質問をしたことがあるだろう：という質問をしたことがあるだろう。ソフトウェア・エンジニアとして、私たちの最初の直感は、コードを辿って答えを発見することだ。残念ながら、MLモデルの「コード」は自動生成されたものであり、人間が読めるものではなく、膨大な数の（時には数十億の！）パラメータにまたがっている可能性があるからだ。MLモデルを理解するには、特殊化されたツールが必要なのだ。説明可能なAI（XAI）は、そのようなツールの開発と分析に焦点を当てたマシン学習の分野である。

モデルの説明は、モデルがどのように機能するかという好奇心を満足させるためだけの機能ではない。実務家にとっては、盲目的にならないための必須機能なのだ。機械学習モデルは、間違った理由で正しくなることで悪名高い。その典型的な例が、本書で取り上げた医療画像モデルである。このモデルでは、病気の予測をするためにX線画像上の「ペンマーク」に依存していることが説明によって明らかになった。

重要な意思決定におけるMLモデルの台頭は、XAIの分野に火花を散らし、様々なデータモダリティで多数のテクニックが提案されている。利用可能なテクニックの膨大な数は、実務家にとって幸でもあり不幸でもある。この問題の核心は、完璧な説明というものは存在しないということである。良い説明とは、モデルへの忠実さと人間の理解しやすさのバランスをとり、意味のある洞察を提供するものでなければならない。これを達成するのは自明ではない。例えば、モデルを巨大な数式に置き換えたような説明は、忠実ではあるが理解しやすくなく、したがって有用ではない。異なる説明メソッドは、忠実さ、人間の理解しやすさ、計算効率の間で異なるトレードオフを行う。さらに、MLベースの意思決定システムには、様々な観点から説明に興味を持つステークホルダーが存在する。例えば、エンドユーザは、自分たちが受ける決定の背後にある要因を理解するために説明を求めるかもしれないし、規制当局は、モデルの推論が健全で不偏であるかどうかを評価するために説明を求めるかもしれない。このようなニュアンスの違いから、実務家は自分たちのシステムに適切な説明の枠組みを設定するのに苦労している。本書はそのギャップを埋めるものである。

本書は、まず読者に、説明可能性メソッドの背景と分類法、そして関係するすべてのステークホルダーについて説明する。次に、マイケルとデビッドは、Googleで説明可能性テクニックを開発、生産、適用した豊富な経験を生かし、主要な実証済みのメソッドをいくつか紹介する。テクニックは、最適なデータ様式ごとに整理されている。それぞれのテクニックについて、そのテクニックがどのように機能するかの直感を伝え、どのように実装され適用されるかを順を追って説明する。例えば、LIMEのサンプリングカーネルの重要性、Integrated Gradientsの適切なベースライン選択の重要性などである。

本書の特徴は、XAIにおけるヒューマンファクターに重点を置いていることである。説明は、モデルの透明性を高めたり、モデルを改善するための特効薬ではない。説明の適切な視覚化と人間のインタプリタが、（それ以上ではないにせよ）同様に重要な役割を果たす。そのためには、説明を単独で評価するのではなく、モデル＋説明＋人間のトリオの有効性を評価しなければならない。人間の関与は、当然ながら一連のバイアスをもたらす。糖尿病性網膜症のモデルに対する説明の影響を評価する臨床研究において、医師が説明を「過信」し、不正確なモデル予測を受け入れる傾向があることに気づいた。マイケルとデイビッドは、このような問題や、人間の関与によって生じる様々な落とし穴について、章全体を割いて議論している。 ...