マシンラーニング本番システム

第9章. インタプリタビリティ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

モデルのインタプリタビリティは、モデルの働きをより深く理解するのに役立つ。

解釈可能性 そのものには数学的定義はない。BiranとCottonは、インタプリタビリティの良い定義を提供した。彼らは、システム（この場合はモデル）は、"その演算子が、内観を通じて、あるいはプロデューサによる説明を通じて、人間によって理解されうるならば、解釈可能である "と書いている。言い換えれば、モデルがある結果を出した理由を人間が理解する方法があれば、そのモデルはインタプリタブルなのである。

説明可能性という言葉もよく使われるが、インタプリタビリティと説明可能性の定義は明確ではない。この章では、主に両方をインタプリタビリティと呼ぶことにする。

モデルがますます複雑になるにつれ、インタプリタビリティはますます重要になると同時に、ますます難しくなっている。しかし良いニュースは、インタプリタビリティを達成するテクニックも向上しているということだ。

説明可能なAI

インタプリタビリティは、責任あるAIとして知られるより大きな分野の一部である。AIの発展と、より多くの問題へのAIの応用の成功は、以前には不可能だったタスクを実行する能力の急速な成長をもたらした。これにより、多くの素晴らしい新しい機会が作成された。しかし、これらのモデルの結果をどこまで信用すべきかについては疑問がある。また時には、人に影響を与え、害をもたらす可能性のある多くの要因を、モデルがどのように責任を持って扱うのかという疑問もある。

インタプリタビリティは、責任あるAIにとって重要である。なぜなら、モデルがどのように結果を生成したかを理解する必要があるからだ。モデルによって生成された結果は、さまざまな方法で説明することができる。最も信頼できるテクニックのひとつは、本質的に説明可能なモデルアーキテクチャを作成することである。その単純な例が決定木ベースのモデルであり、これはその性質上説明可能である。しかし、現在では、本質的に説明可能なように設計できる高度で複雑なモデルアーキテクチャも増えてきている。

なぜAIにおいてインタプリタビリティが重要なのか？基本的には、モデルによって下された結果や決定を説明する必要があるからだ。これは、自然言語モデルを含む感度の高いモデルに特に当てはまる。自然言語モデルは、ある特定の例に直面すると、とんでもなく間違った（あるいは不快で危険な、あるいは誤解を招く）結果を生成する可能性がある。

インタプリタビリティは、攻撃に対する脆弱性を評価するためにも重要である（次で説明する）。公平性も重要な問題である。私たちは、私たちのモデルのすべてのユーザを公平に扱っていることを確認したいからだ。公正さの欠如は、私たちの評判やブランディングにも影響を与えかねない。これは特に、顧客やその他の利害関係者が我々のモデルの決定に疑問を持ったり異議を唱えたりするような場合に当てはまる。そしてもちろん、法的・規制的な懸念もある。特に、誰かが非常に不満で私たちや私たちのモデルに法廷で異議を唱えたり、私たちのモデルの結果が損害を与える行為につながったりする場合だ。

ディープ・ニューラル・ネットワーク（DNN）は入力を誤分類するように騙され、真のカテゴリーとは似ても似つかない結果を出すことがある。これは画像分類の例で最も分かりやすいが、基本的にはどのようなモデルアーキテ ...