可解释人工智能实践指南

第 6 章. 高级和新兴课题

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

与 Sheeraz Ahmad

到目前为止，本书的重点一直放在成熟的技术、模式和使用案例上。然而，可解释人工智能（XAI）仍然是一个活跃的研究领域，因此新技术在不断开发，现有技术也在不断改进和细化。前几章介绍的基于特征的解释（如夏普利值和综合梯度）可以涵盖许多用例，尤其是应用于文本、表格和图像数据时。不过，在特定情况下，还有一些新兴技术和主题对你的可解释性工具箱很有价值。

在本章中，我们将讨论三个广泛的新兴话题。首先，我们将介绍其他解释技术，如输入归因（而不是特征归因）和通过设计使模型可解释。其次，我们将简要介绍如何将之前介绍的一些技术更普遍地应用于非文本、表格或图像的数据格式，特别是侧重于时间序列和多模态数据（文本+图像）。第三，我们将讨论如何系统地评估可解释性技术，而不是对少数数据点进行抽查。

其他可解释性技术

在本节中，我们将讨论两种可解释性替代方法，即交替输入归因法，即归因于训练数据点或用户定义的概念；以及设计可解释性，即对建模过程进行干预，使其在本质上更具可解释性。

替代输入归属

虽然基于示例特征的推理是接近可解释性的合理方法，但预测也可以归因于其他输入，如训练数据中的其他示例或某些补充数据中的示例。请注意，特征归因也会受到训练数据的间接影响，因为训练数据毕竟是模型用来学习任务的数据，而特征归因技术需要以各种方式查询训练过的模型。然而，这种间接影响（训练数据 → 模型 → 特征归因）很难追溯，这使得我们很难回答正确（或错误）的预测应该归因于训练数据中的哪个点。

现在，我们将讨论一些技术，这些技术可以让我们将功劳（或责任）直接归因于训练集中的单个数据点，或归因于由领域专家策划的补充集中的数据。我们将讨论三大类替代输入归因方法：基于示例的解释、影响函数和基于概念的解释。基于示例的解释通过浮现训练数据集中被模型视为相似（或不同）的元素，让我们深入了解模型的行为。基于影响函数的解释也利用数据集中的示例，但侧重于那些对模型行为有重大影响的示例。在这里，一个训练示例的影响是通过如果将该示例从训练数据集中移除，模型参数或预测会发生多大变化来衡量的。最后，基于概念的解释使用模型的内部状态来比较高层次的抽象概念与输入实例和模型预测的比较。这样做的好处是，这些概念比单个特征更符合人类的直觉。

基于实例的解释

以下是您需要了解的基于示例的解释：

• 通过对模型实例进行基于近邻的近似解释，，从而深入了解模型行为。

• 它们同样适用于不同的数据模式--图像、文本和表格。

• 基于实例的解释主要被认为是与模型无关的，它根据数据集的要素而不是模型特征提供解释。

• 反事实解释是一种基于实例的解释。

优点	缺点
这些解释对于调试模型以及与利益相关者建立闭环非常有用。 它们是一种非常直观的、人类可以理解的模型行为表示法。 基于实例的解释有助于建立一个心智模型来理解你的 ML 模型预测，并对复杂的数据分布提供额外的洞察力，揭示隐藏的数据问题或异常值。 使用ScaNN 等开源库生成基于示例的解释，上手很快。	基于示例的归因并不能保证完整性--将每个训练数据点与给定测试点的距离相加，并不能得出有意义的总和。 这些解释并不能深入揭示测试点与相应的基于示例的解释之间的因果关系。 要在本地扩展基于示例的解释，难度可能会超过 ~1-10K 个示例；超过这个数量，您就需要使用云服务了。

基于实例的解释是传达模型推理的一种直观方式。与特征归因的目的是将预测的部分责任分配给单个特征类似，基于示例的解释的目的也是将预测的部分责任分配给训练数据中的单个点。例如，对于 ...