人工智能工程师应对欧盟人工智能法案的指南

附录 C. 人工智能治理与 MLOps的整合

将人工智能治理 整合到 MLOps 堆栈画布（图 C-1）中，可使团队主动识别并降低与偏见、公平性、隐私和安全性相关的风险，同时还支持遵守相关法规和标准。这种集成方法可提高模型质量，促进可靠的预测，并加强负责任的人工智能开发。它与技术能力一起扩展，鼓励跨职能合作，并促进审计和问责。

在本附录中，我们将回顾 MLOps 堆栈画布（在第 2 章中介绍）的组成部分，并扩展该框架以纳入关键的人工智能治理概念。

图 C-1. MLOps 堆栈画布框架

价值主张

除了为 MLOps 平台制定 一般价值主张和数据治理目标外，还要考虑 AI 治理如何促进 ML 项目的整体价值。例如

• 添加 "合规要求 "部分，概述适用的法规和标准（如欧盟人工智能法案、GDPR、特定行业的人工智能法规）。

• 包含与欧盟人工智能法案类别（不可接受、高风险、有限风险或最低风险）一致的 "风险分类 "部分，以评估人工智能系统的潜在风险和预期收益。

• 增加 "伦理影响评估 "部分，以评估人工智能系统的潜在社会和伦理影响，确保项目符合组织的人工智能伦理原则。

• 加入 "利益相关者分析 "部分，以确定受系统影响的所有各方，尤其要关注弱势或边缘群体。

数据源和数据版本

在 MLOps 过程中考虑数据源的同时 ，您还需要将 AI 治理考虑在内。为此，您应该

• 确保数据来源符合道德准则和法律标准。

• 包括数据质量和偏差评估协议，以识别和减少培训数据中潜在的偏差。

• 纳入数据伦理审查流程，以评估数据收集和使用的伦理影响。

数据分析和实验管理

在开发数据分析和实验管理流程时，要保持人工智能治理 的重点，整合道德准则以防止偏见：

• 使用实验管理工具记录所有实验细节，确保模型开发的透明度和问责制。

• 在实验中纳入公平性指标和偏差分析。

• 记录决策过程和理由。

• 对分析脚本和笔记本实施版本控制，确保实验的可重复性。

• 采用可解释人工智能（XAI）技术，确保模型的可解释性。

• 包含伦理实验文档要求，以创建审计跟踪。

• 纳入实验设计和结果的伦理审查流程。

功能存储和工作流程

在特征存储和工作流中保持人工智能治理 组件需要确保数据隐私和安全的策略。规范特征工程工作流程，使其具有可复制性和透明度，记录所有转换及其预期目的。此外：

• 增加特征重要性分析，以支持透明度、可解释性和潜在伦理影响的识别。

• 实施特征偏差检测和缓解策略。

• 包括保护隐私的功能工程技术。

• 为可审计性和治理添加功能文档和要求。

CI/CT/CD：ML 管道协调

画布的这一部分 自然适合嵌入治理自动化。要将人工智能治理集成到持续集成、测试和部署流程中，从一开始就应使这些工作流程符合道德、法律和组织标准：

• 在 CI/CD 管道的关键阶段（如模型培训和部署前后）整合道德审查检查点。例如，医疗保健公司可能会在培训后加入一个审查检查点，以评估模型预测是否符合有关种族或性别偏见的道德标准。

• 确保代码更改与模型版本之间的可追溯性。

• 在每个训练管道后自动生成模型卡，以记录模型限制、潜在偏差和预期用例。

• 采用有人工监督的逐步推广策略，最大限度地降低风险。

• 增加模型稳健性和安全性测试，包括对抗测试和输入扰动。可以使用 CleverHans ...