可解释人工智能实践指南

第 7 章 与可解释的人工智能互动 与可解释的人工智能互动

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

解释不可能存在于真空中。我们自己、我们的同事、审计人员和公众都要消费、使用和执行解释，以了解人工智能为何以这种方式行事。如果没有可解释性（和可解读性），机器学习（ML）就是一条信息和预测的单行道。我们可能会看到 ML 做出令人震惊的事情，比如将一段话从一种语言翻译成另一种语言，但我们很少会明确地信任技术。

从根本上说，我们与我们使用的每个人工智能都是一种工作关系。把机器学习想象成你的同事。即使这位同事做得非常出色，但如果当我们要求他们执行一项任务时，他们去了另一个房间，带着答案回来后又迅速离开，从不回答我们的问题，也不回应我们说的任何话，我们也会觉得他们难以共事！可解释性试图通过在 ML 系统和用户之间展开双向对话（如图 7-1 所示）来解决这种沉默同事的问题。然而，考虑到可解释性的新颖性，这种对话是非常有限的，因此如何构建这种对话就显得尤为重要。

图 7-1. 可解释性在智能语言与其用户之间建立了一种对话关系。

在本章中，我们将回顾不同 ML 消费者的需求，以及在设计 "可解释的人工智能"（XAI）时应注意哪些事项，以便为这些群体提供最佳服务。我们还将探讨如何显示解释，以及不同类型可视化之间的权衡。没有一种解释是完美的，因此我们还将讨论解释可能被误解的常见陷阱，以及如何预先设计可解释性以减少这些问题。最后，我们还将讨论在创建和传播解释之后会发生什么，深入探讨解释之后采取的行动。

谁在使用可解释性？

在第 2 章中，我们讨论了谁在消费解释：机器学习从业者、观察者和最终用户。每个群体对解释的需求不同，对机器学习的了解程度也不同，因此我们不能对他们一视同仁。为了更好地理解这些群体，我们可以根据他们的专业知识和意图对他们进行分类。专业知识可以是机器学习本身的工作原理，也可以是机器学习所处的大环境，还可以是机器学习输入特征（或推理）的附加因素。意图是指消费者在收到解释后可能采取的行动。

有三种常见的专业知识：

域名

了解多边借贷机构的运作环境，但不一定了解多边借贷机构本身如何运作。例如，银行家可能了解贷款的大经济环境。

模型输入

了解或能够获取与推理输入相关的额外信息，但可能无法改变输入。虽然这可能是训练数据，但更常见的是用于部署预测的数据样本或一般数据集特征。例如，消费者对自己的购物偏好有更深刻的内在理解，这为产品推荐系统提供了信息。

机器学习

了解模型架构和模型的工作原理；但对数据集或所做预测的影响可能了解有限。例如，一名数据科学家受聘担任顾问，负责建立一个 ML 模型，预测机器人在工厂中组装零件所需的时间，但他以前并不了解机器人，因为机器人会不可预测地发生故障，也不了解装配线，因为装配线在估算生产时间时具有复杂的级联因果关系。

以下是常见的意图类型：

模型改进

根据解释，用户将采取行动提高模型的质量。这可能包括完善训练数据集、使用不同的特征或更改模型架构。

在模式中建立信任

增强对模型预测准确可靠的信心。

验证

根据一系列标准，确认模型的行为符合的预期。例如，信用评级模型遵守金融反歧视法规。¹

补救措施

通过改变模型的输入，了解未来应采取哪些行动来改变预测结果。例如，消费者可以通过减少债务来补救（这里指的是改善）信用评级预测。 ...