実践者向けの説明可能なAI

第2章. 説明可能性の概要

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

説明可能性は、AIが誕生して以来、マシン学習の一部となっている。最初のAIである規則ベースの連鎖システムは、、何が予測につながったかを明確に理解できるように構築された。この分野は、一般化AIに焦点を当てたこともあるが、モデルアーキテクチャの複雑さが、何が起きているのかを説明する能力を上回るまで、何十年もの間、研究がまともで正しい方向であることを正当化するためにも、モデルの重要な部分として説明可能性を追求し続けた。1980年代にMLニューロンやニューラルネットが登場した後、説明可能性に関する研究は衰退した、¹研究者たちは、ベイズ推論など、他の分野で十分に証明されている統計的テクニックだけに頼ることで、「説明可能」なテクニックに目を向け、最初のAIの冬を乗り切ることに集中したため、説明可能性に関する研究は衰退した。現代的な形の説明可能性（本書では主に説明可能性に焦点を当てている）は、2010年代半ばに、「このモデルは実にうまく機能している...しかし、どのように？

わずか数年の間に、この分野は無名なものから強い関心と調査を集めるものへと変貌を遂げた。驚くべきことに、この短期間に多くの強力な説明可能性テクニックが発明されたり、他の分野から再利用されたりしている。しかし、理論から実践への急速な移行と、エンドユーザやビジネス利害関係者のようなMLと対話するユーザからの説明可能性へのニーズの高まりにより、様々なメソッドの能力と範囲について混乱が広がっている。説明可能性に関する多くの基本的な用語は、異なる、さらには矛盾した考えを表すために日常的に使用されている。MLが期待通りに機能していることを保証するために、実務者が急ぐために、説明が誤解されることは容易である。説明可能性とインタプリタビリティという用語でさえ、焦点が全く異なるにもかかわらず、日常的に入れ替えられている。例えば、本書の執筆中、ある業界団体から、システムの説明可能な能力と解釈可能な能力を記述するよう求められたが、説明可能性と解釈可能性の定義は、他の業界の用語の定義と比較すると逆転していた！説明可能性をめぐる混乱を認識した上で、本章の目的（）は、今後の章のための背景と共通言語を提供することである。

説明とは何か？

モデルが予測を行ったとき、説明可能なAI（XAI）メソッドは、その予測に至った経緯についてモデルの振る舞いを洞察する説明を生成する。私たちがの説明を求めるとき、「なぜXが起きたのか」を理解しようとしている。例として、雨の降る日を予測する気象モデルがあったとして、そのモデルが突然90％の降水確率を示した理由を知りたければ、「空が曇っていたので90％の降水確率が予測された」という説明が役に立つだろう。この理由を解明することは、何がモデルに影響を与えるのか、その影響はどのように発生するのか、そしてモデルはどこで機能するのか（あるいは機能しないのか）についての理解を深めるのに役立つ。自分自身のメンタルモデルを構築する一環として、純粋な説明では満足できないことがよくあるので、元の状況に対する反事実（箔付け）を提供する説明にも興味を持つ。反実仮想とは、、なぜXが起こらなかったのかという、対立するもっともらしいシナリオを提供しようとするものである。なぜ今日は雨が降ったのか」を説明しようとする場合、「なぜ［仮定の世界では］今日は雨が降らなかった ...