学习 AutoML (Chinese Edition)

第 11 章. 与 MLOps 工具的工作流 集成

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

在2023年与一家《财富》500强零售企业合作的一个项目中，我通过亲身经历深刻体会到了AutoML与MLOps集成的重要性。 该公司数据科学团队的成员开发了他们所谓的“黄金AutoML管道”——一个令人印象深刻的系统，能够自动构建高性能模型，用于数千种产品的需求预测。这些模型确实令人惊叹，其准确率始终比之前的手动方法高出15%–20%。

但存在一个问题：将这些模型从笔记本迁移到生产环境，需要数据科学家、机器学习工程师和DevOps团队之间反复沟通长达三个月。这种延迟不仅仅是企业部署中常见的摩擦——它还因AutoML生成的构建成果过于复杂而进一步加剧。 每次 AutoML 运行都会生成数十个基于不同框架（Scikit-learn、XGBoost、LightGBM、神经网络）的模型构建产物 ，且每个都需要不同的序列化格式、依赖项和服务配置。预处理管道是根据数据特征动态生成的，因此无法预先制定模板。传统上为单模型部署设计的 CI/CD 管道无法应对这种多变性，每次部署都需要定制打包脚本。等到模型最终投入生产时，数据往往已经发生了足够大的变化，需要重新训练。

当我们实施了一套系统化的 MLOps 集成方案，将 AutoML 视为更广泛生产管道的一部分而非独立实验时，突破便随之而来。原本需要数月的工作，瞬间缩短至数小时。模型部署实现了自动化，监控功能内置其中，团队得以快速迭代。业务影响立竿见影——他们能够以天为单位而非季度为单位响应需求变化。

这一经历让我明白，脱离 MLOps 的 AutoML 不过是昂贵的实验。真正的价值在于将自动化模型开发与自动化部署、监控及管理相结合。根据 Gartner 2024 年 AI 采用调查，拥有成熟 MLOps 实践的企业模型部署速度提升 60%，生产环境故障率降低 40%。 向集成 MLOps 的 AutoML 转型的步伐已显著加快，仅 MLflow 截至 2024 年每月下载量就已超过 1800 万次，这反映出业界已认识到：自动化模型开发需要同样自动化的运维基础设施。

注

本章中的所有代码示例均已在 AutoGluon 1.4.0 版本上经过测试和验证。如需完整的实现代码、详细输出结果、实验变体以及其他高级技术，请参阅配套的 Jupyter 笔记本Chapter11.ipynb。

理解 AutoML 与 MLOps 的集成格局

AutoML与MLOps之间的集成，标志着企业在大规模应用机器学习方面发生的一次重大转变。传统的MLOps设计基于这样一种假设：数据科学家将手动构建具有已知特征和可预测行为的模型。AutoML通过引入自动化决策机制，从根本上挑战了这些假设——该机制会生成数量难以预估的机器学习产出，并在模型架构、特征工程和超参数优化方面做出自主决策。

现代 AutoML 系统不仅生成单一模型，更会构建起完整的机器学习成果生态系统。一个典型的 AutoML 实验可能生成数十条预处理管道、数百个独立模型、多种集成策略以及数千项性能指标。这种复杂性的爆发式增长，要求 MLOps 平台既能应对自动化机器学习的规模与多样性，又能维持生产系统所需的治理与可靠性。

图 11-1展示了传统 MLOps 工作流与集成 AutoML 的 MLOps 工作流之间的根本差异。传统方法遵循从数据准备、模型训练到部署的线性流程。AutoML 则引入了并行探索路径、动态决策点以及多个最终汇聚成可部署系统的成果流。 ...