実践者向けの説明可能なAI

第1章 はじめに

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

説明可能なAI（XAIとも呼ばれる）は、機械学習（ML）の一分野であり、モデルがどのように予測を行ったかについての説明を提供することで、モデルの振る舞いをより良く理解することを目的としたテクニックで構成されている。モデルがどのように振る舞い、学習データセットからどのような影響を受けるかを知ることで、MLを構築したり使用したりする人は誰でも、モデルを改善し、予測に自信を持ち、物事がうまくいかないときを理解するための強力な新しい能力を得ることができる。説明可能なAIテクニックは、特定のモデルに依存しないため特に有用であり、一度説明可能なAIメソッドを知れば、多くのシナリオでそれを使うことができる。本書は、説明可能なAIテクニックがどのように機能するかを理解することで、あるアプローチを他のアプローチよりもいつ使うべきか、これらのテクニックをどのように適用するか、また、これらの説明をどのように評価すれば利点と限界を理解し、利害関係者に伝えることができるかについて、直感を構築できるようになることを目的としている。図1-1が示すように、説明は非常に強力であり、モデルが特定の予測を行う理由についての新たな理解を容易に伝えることができるが、正しく使用するにはスキルとニュアンスも必要である。

図1-1. Blur-IG（第4章で説明）を使った説明で、この本の表紙の動物がオウムであると予測する画像分類モデルに影響を与えたピクセルを示している。

なぜ説明可能なAIなのか

2018年、データサイエンティストは胸部X線から病気を特定するマシンラーニング（ML）モデルを構築した。その目的は、放射線科医が、AIの助けを借りて1日により多くのX線をレビューできるようにすることだった。テストでは、モデルは検証データセットで、完璧ではないが非常に高い精度を達成した。ただ1つ問題があった。このモデルは実世界のセットではひどいパフォーマンスを示したのだ。研究者たちは数カ月に渡り、この矛盾の原因を発見しようとした。モデルは、図1-2に示したのと同じ種類の胸部X線写真でトレーニングされ、X線写真からは識別情報が取り除かれていた。新しいデータを使っても、研究者たちは同じ問題に遭遇し続けた。つまり、トレーニングでは素晴らしい結果を出したのに、病院での設定ではひどい結果になってしまうのである。なぜこのようなことが起こったのだろうか？

図1-2. 疾患認識モデルの学習に使用した胸部X線写真の例。何がモデルを迷わせたかわかるだろうか？¹

数年後、別の研究グループ（今度はイギリスの眼科医）が、、患者の眼の網膜スキャンから病気を特定するモデルを訓練するミッションに着手した（図1-3参照）。モデルを訓練した後、彼らは同様に驚くべき、しかし全く異なる結果に遭遇した。このモデルは病気の特定に非常に優れていたが、患者の性別の予測も驚くほど正確だったのだ。