Databricks 上生成式人工智能的实用 MLflow 指南 (Chinese Edition)

前言

我们开发 MLflow 的初衷，源于在各个机器学习团队中观察到一种普遍现象：构建模型只是工作的一部分，而且往往并非最困难的部分。真正的难点在于管理模型相关的各项事务：追踪实验、打包代码、复现结果、跨团队协作、可靠部署，以及了解生产环境中实际运行的内容。

这正是 MLflow 旨在解决的问题。我们的目标是创建一种开放且实用的方法，用于管理跨越不同工具、框架和环境的机器学习工作生命周期。我们希望让开发过程中那些杂乱无章的部分变得更易于管理、更可重现，并更便于在团队间共享。

自那时起，其广泛的应用让我们倍感欣慰。MLflow之所以能够发展壮大，是因为从业者们意识到了这一问题。他们深知面对分散的工作流、不一致的环境以及无法复现的结果时，那种棘手的感受。随着时间的推移，MLflow已发展成为一个庞大的开源社区，贡献者来自比我们想象中更广泛的领域。

如果说有什么变化的话，生成式 AI 的兴起反而让那个最初的问题变得更加突出。

现代 AI 应用不仅仅是一个模型调用，而是一个复合系统。它包含 prompt、检索管道、工具、智能体技能、反馈循环、服务基础设施、评估和治理。应用的质量在很大程度上取决于所有这些组件如何协同工作。这些组件为团队提供了更多构建有用系统的方式，但也带来了新的运维复杂性。

您不仅需要知道使用了哪个模型版本：还需了解当前生效的prompt版本、所用的智能体框架、调用的工具，以及相邻两次迭代之间的变更。您需要具备足够的可视性，才能解读这种概率性且复杂的行为。而一旦将这些系统部署给真实用户，可靠性、可追溯性以及随时间推移持续改进的方法就同样重要。

MLflow 3.0 正是我们对这一挑战的回应。MLflow 开始以“第一类”方式支持 AI 应用，将高质量 MLOps 的经验扩展到代理和 LLM 应用中。这意味着更完善的追踪、更强大的血统追溯、更丰富的评估，以及一种更明确的方式来思考整个应用或代理的版本控制与质量管理。

构建 AI 系统的难点在于，如何让系统随着时间的推移变得易于理解、可改进且可靠。这意味着必须能够回答关于应用程序的一些基本但关键的问题：为什么这个输出结果发生了变化？是哪一个 prompt 版本导致的？代理工作流内部发生了什么？检索功能如何影响了结果？我们能否有把握地改进这种行为？对于大多数团队来说，这些问题构成了工作的大部分。

正因如此，本书的出版恰逢其时。它将代理式人工智能视为一门工程学科，并以该领域所需的严谨态度加以探讨。本书认识到，让系统“一次运行成功”与构建出团队能够信赖、维护并持续改进的系统之间存在差距。真正的核心工作大多发生在这道鸿沟之中。这是从业者投入时间的地方，也是优质工具和良好习惯发挥最大作用的地方。

本书的作者们深刻理解这一现实。他们聚焦于AI和ML从业者实际面临的决策：如何组织实验，如何以规范的方式迭代智能体设计，如何追踪复杂行为，如何系统地评估质量，如何管理版本，以及如何在从开发到部署的过程中保持对系统运行状况的可视性。

我还喜欢本书围绕实际构建过程展开的架构。当追踪能带来更佳评估时，它才更有用；当评估能指导智能体和prompt设计、检索策略或智能体行为时，它才更有价值；当治理能支持实际部署时，它才真正重要。本书帮助读者建立一个清晰的心智模型，理解这些环节如何相互衔接。

最后，本书以恰当的方式体现了实用性。它紧贴系统构建的日常工作，从一开始就将生产环境中的考量置于核心位置。这一点在生成式人工智能（GenAI）应用中尤为重要——在将应用交付给真实用户之前，你很难判断其表现如何，而且微小的改动往往会产生巨大影响。 ...