可解释人工智能实践指南

第 1 章 导言 导言

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

可解释人工智能（又称XAI）是机器学习（ML）的一个领域，它包含了一些技术，旨在通过解释模型是如何做出预测的，让人们更好地理解模型的行为。了解模型的行为方式，以及模型如何受到训练数据集的影响，能让任何构建或使用 ML 的人获得强大的新能力，从而改进模型，建立对其预测的信心，并了解何时会出现问题。可解释的人工智能技术特别有用，因为它们不依赖于特定的模型--一旦你知道了一种可解释的人工智能方法，你就可以在很多场景中使用它。本书旨在让你了解可解释的人工智能技术是如何工作的，这样你就能建立一种直觉，知道何时使用一种方法而不是另一种方法，如何应用这些技术，以及如何评估这些解释，从而了解它们的优势和局限性，并将它们传达给利益相关者。如图 1-1所示，解释可以非常强大，能够轻松传达对模型为何做出某种预测的新理解，但正确使用解释也需要技巧和细微差别。

图 1-1. 使用 Blur-IG（第 4 章中有描述）进行的解释，显示了哪些像素影响了图像分类模型预测本书封面上的动物是鹦鹉。

为什么选择可解释的人工智能

2018 年，数据科学家建立了一个机器学习（ML）模型，用于从胸部 X 光片中识别疾病。其目的是让放射科，在人工智能的帮助下，每天能够审查更多的X光片。在测试中，该模型在验证数据集上取得了非常高的准确率，但并不完美。但有一个问题：该模型在真实世界中的表现非常糟糕。几个月来，研究人员一直试图找出出现差异的原因。该模型曾在图 1-2 所示的同类胸部 X 光片上进行过训练，但这些 X 光片上的任何识别信息都被删除了。即使有了新的数据，他们还是不断遇到同样的问题：在训练中表现出色，但在医院环境中结果却很糟糕。为什么会出现这种情况？

图 1-2. 用于训练模型识别疾病的胸部 X 光片示例。您能找出是什么导致模型误入歧途吗？¹

几年后，另一个研究小组--这次是英国的眼科医生--开始了一项任务，训练一个模型来从病人眼睛的视网膜扫描中识别疾病（见图 1-3）。在训练完模型后，他们遇到了同样令人惊讶但却截然不同的结果。虽然该模型在识别疾病方面非常出色，但在预测病人性别方面的准确度也高得出奇。

图 1-3. 视网膜眼底图像示例，该图像可显示眼睛内部情况，并可用于预测糖尿病等疾病。

这一预测有两个迷人之处。首先，医生们并没有设计 ML 来预测病人的性别；这是他们的模型架构和 ML 实验无意中产生的结果。其次，如果这些预测是准确的，那么眼睛内部和性别之间的这种相关性就是眼科领域的一个全新发现。是 ML 有了全新的发现，还是模型或数据集存在缺陷，以至于有关病人性别的信息泄漏到了模型推论中？

在胸部 X 光片和视网膜图像这两个案例中，机器学习的不透明性已经反噬了它的用户。现代机器学习之所以取得成功，正是因为计算机可以通过消耗大量信息来反复调整大量参数的方法，自学如何执行许多任务。然而，训练这些模型所涉及的大量数据使得人类实际上无法直接检查和理解模型的行为或数据集如何影响模型。虽然可以通过查看用于训练模型的单个权重或特定数据样本来检查任何机器学习模型，但这种检查很少能产生有用的见解。 ...