人工智能工程师应对欧盟人工智能法案的指南

第 3 章. 数据与人工智能治理和人工智能工程

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

本书第一章介绍了欧盟人工智能法案，并为理解作为其主要动机的可信人工智能奠定了基础。随后，我们探讨了 ML 开发流程的工程方面，并研究了 CRISP-ML(Q) 生命周期模型与 MLOps 技术组件之间的协同作用，强调了这种集成如何通过结构化流程、透明度和可重复性来支持可信人工智能的开发。在此，我们将从组织的角度重点关注合规性，考虑数据与人工智能治理、风险管理和符合欧盟人工智能法案之间的相互作用。

欧盟人工智能法案时代数据和人工智能治理的重要性

让我们从三个著名的真实案例开始，说明不良的数据治理和人工智能治理 ，是如何导致人工智能产品的重大失败 ：

用于肿瘤学的 IBM 沃森

Watson for Oncology （2016 年推出）的开发过程中，由于该系统推荐了不安全和不正确的癌症治疗方法而受到了大量批评。究其原因，是由于训练数据不完整且存在偏差，其中仅包含少量合成癌症病例，而非真实临床数据，导致推荐存在缺陷，临床相关性有限。内部文件和客户反馈强调了缺乏透明度、系统性问题以及对产品建议的不满。这一案例强调了在人工智能训练中对高质量、准确和相关数据的迫切需要。

亚马逊的人工智能招聘工具

2018 年，亚马逊开发了一款实验性 AI 招聘 工具，用于自动筛选候选人。然而，该系统被发现对女性存在偏见，原因是人工智能模型是根据 10 年来绝大多数来自男性应聘者的简历进行训练的。这导致它将含有 "女性 "一词的简历降级，并惩罚来自全女子学院的候选人。这一结果凸显了亚马逊对训练数据和模型中的人口统计偏见缺乏足够的审核，并导致亚马逊完全放弃了这一工具。这一案例凸显了在人工智能应用中对数据进行仔细筛选和去伪存真的必要性。

iTutor 集团的人工智能招聘工具

2023 年，iTutor 集团使用人工智能驱动的招聘软件 ，自动拒绝 55 岁及以上的女性求职者和 60 岁及以上的男性求职者。该系统的筛选标准以年龄为依据，导致了歧视性做法。因此，美国平等就业机会委员会（EEOC）对 iTutor 集团提起诉讼，该公司同意支付 36.5 万美元并实施新的反歧视策略，从而达成和解。此案凸显了对人工智能招聘工具进行监督和防止偏见的必要性。

这些以及其他著名的人工智能灾难说明，严格的数据治理实践至关重要，包括确保数据质量、代表性和透明度。彻底的数据质量 评估、强有力的数据保护措施以及人工智能开发和部署中的道德考量至关重要。在医疗保健和教育等敏感领域，对不同人群进行全面的偏差测试尤为重要，而且有必要对生产中的人工智能系统进行持续监控和审计，以便及早发现和解决问题。

在欧盟人工智能法案时代，数据和人工智能治理发挥着至关重要的作用。各组织必须建立健全的数据和人工智能治理框架，以满足该法案对数据质量、文档、透明度、人工监督和风险管理的严格要求。此外，有效的治理对于识别、评估和降低与人工智能系统相关的风险至关重要，如果管理不当，可能会对基本权利、安全和环境造成威胁。

强有力的数据和人工智能治理可促进负责任和合乎道德的人工智能发展，这与《欧盟人工智能法》的目标一致，即促进开发维护欧盟价值观和原则的可信人工智能。这种方法使各组织能够在利用人工智能进行创新的同时，保障隐私和其他基本权利。

人工智能系统的透明度和可解释性不仅是技术挑战，也是法律和道德要求。这里提到的例子强调了严格的数据管理实践的重要性，包括确保数据质量、 ...