可解释人工智能实践指南

附录。 分类、技术和进一步阅读

为了帮助您今后使用本书，我们对本书中涉及的主题和技术进行了简要回顾。今后，您可以使用这些指南和表格作为参考，帮助您在深入研究更多细节之前，快速了解新问题的备选方案。

ML 消费者

消费 ML 并与之互动的用户有三种类型：

ML 从业人员

数据科学家和 ML 工程师负责构建、开发、调整、部署和运行模型。

观察员

企业利益相关者和监管者，他们不参与模型的工程设计，也不在部署中使用模型。他们通过解释来验证模型性能，并建立对模型按预期运行的信任。

最终用户

使用模型预测结果或受其影响的领域专家和受影响用户。他们可能对模型运行的环境有深入的了解，也可能会受到模型预测结果的影响，但他们对 ML 或该领域的背景知识知之甚少。

可解释性分类法

有几个特点有助于界定可解释性领域。它们是

可解释性与可解释性

虽然有时在行业中可以互换使用，但我们将可解释性定义为根据预测（或一组预测）对模型进行解释的技术。这种技术不需要了解模型本身是如何工作的，尽管它可能依赖于模型架构的某些方面来生成解释。相比之下，可解释性可以在没有任何预测的情况下提供有关模型行为的见解，因为可解释性技术是模型结构和行为的一个基本方面。

以数据为中心还是以模型为中心

该技术可，让人们了解数据集及其结构如何影响模型的预测或描述模型本身的行为。例如，以数据为中心的可解释性方法包括 TracIn、影响函数或 TCAV（见"替代输入归因"）等技术。以模型为中心的可解释性方法更侧重于模型和模型架构本身的各个方面。这包括本书第 3 章、第 4 章和第 5 章中讨论的技术。

在考虑以模型为中心的方法时，最常用的可解释性技术可以从三个方面来描述：

内在与事后

内在解释是预测的一部分。所谓内在性，我们指的是固有的可解释模型。也就是说，它们的结构足够简单，我们只需查看模型本身就能理解模型是如何进行预测的。例如，线性模型学习到的权重或决策树学习到的分割，都可以用来解释模型做出预测的原因。事后解释是在模型训练完成后进行的，依赖于预测来创建解释。事后解释方法包括使用训练好的模型和数据来理解为什么会做出某些预测。在某些情况下，事后解释方法也可应用于具有内在可解释性的模型。

特定机型与无关机型

与模型无关的意味着可解释性方法可以应用于任何模型，而针对特定模型的方法只能用于某些特定类型的模型。例如，只适用于神经网络的方法就属于特定模型。如果一种可解释性方法将训练好的模型视为不透明模型，那么它就会被视为不可知模型。

地方、全球和队列解释

局部解释 只关注单一预测。全局解释则试图就整个数据集的模型预测趋势和行为提出主张。很多时候，通过使用局部结果的聚合，局部 XAI 方法可以转化为全局技术。因此，有些技术既能提供局部解释，也能提供全局解释。队列解释是对完整数据集的一个切片进行的全局解释。数据集的切片可以是由单个特征值定义的子集。例如，让我们考虑一个预测客户流失的模型。所有年收入超过 50,000 美元的用户都可以构成一个队列。队列解释有助于更好地理解为什么模型在这一特定子集中表现不佳。它还有助于发现模型中的偏差，或指出您可能需要收集更多数据的地方。

XAI 技术

本书中的技术按使用案例排列，重点关注数据模式，包括表格（第 3 章）、图像（第 4 章）和文本（第 5 章）。虽然其中一些技术是针对特定数据类型开发的，但许多技术可以应用于多种场合。在此，我们将对每章讨论的技术、你需要了解的每种技术以及它们的优缺点进行细分。

表格模型

第 3 章的重点是表格模型和可解释性技术，这些技术用于表达特征在模型预测中的重要程度。这些基于特征的技术可分为将影响归因于特征的技术，或通过改变特征值以改变预测来展示反事实的技术。 ...