Kubernetes 上的生成式人工智能 (Chinese Edition)

第8章. 人工智能驱动的 应用程序

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

在前几章中，我们演示了如何在Kubernetes上部署LLM等模型服务器、打包模型数据以及大规模运行推理。 在此基础上，我们将从单一模型服务转向构建完整的AI驱动应用架构，其中LLM仅是众多组件之一。

本章聚焦应用架构：请求如何流经系统、上下文如何检索或工具如何调用、状态如何随时间维持。 我们将介绍主流架构模式、AI应用栈的核心组件，以及将LLMs集成到实际应用中的挑战。 为保持对架构全局的清晰聚焦，讨论将保持高层次概览。 更具体的技术实现将在下一章深入探讨。

LLMs以聊天机器人形态开启了对主流软件的征服之旅 ，其中ChatGPT最为代表。 聊天仍是主流交互模式，但其背后的软件架构已日趋成熟。 现代AI应用通过应用逻辑封装LLM，该逻辑负责获取业务上下文、调用内部系统并写入状态。 LLM推理服务虽功能强大，但无法直接访问数据库或调用工具。¹

应用程序主导全局，利用LLM进行生成或推理。 您将了解何时采用检索式接地处理、何时协调工具调用，以及如何在跨轮次保持状态的同时掌控成本、延迟与质量。

在下一节"架构模式"中，我们将探讨两种基础架构方案，用于将此类AI驱动应用嵌入更广阔的运营环境。

架构概述之后，我们将重点阐释构建AI驱动应用的关键概念：在"检索增强生成"中探讨检索增强生成技术，在"智能体工作流"中解析智能体工作流机制。

本章结束时，您将全面掌握AI驱动应用的分类体系，以及生成式AI工作负载如何融入更广泛的系统架构。

现在让我们深入探讨基于Kubernetes的人工智能驱动应用程序通用架构与部署拓扑。

架构模式

在深入探讨AI应用的典型架构前， 让我们先回顾最重要的Kubernetes工作负载类型，以便将其映射到我们描述的架构组件。

将每项职责映射至对应的Kubernetes基础组件，可实现解耦的生命周期与发布节奏。 例如，LLM服务实例的更新周期可与应用逻辑部署独立运行。 这种分离机制允许您升级或扩展单一组件而不影响其他部分，与当前应用于LLM核心应用的微服务最佳实践高度契合。

注

虽然我们专注于在Kubernetes内部部署所有组件，但LLM服务也可运行于其他集群或托管云服务（如OpenAI、Anthropic或Google的Vertex AI）。 这种解耦在生产环境中很常见，考虑到GPU限制，它提供了显著的灵活性：您的编排器和应用程序逻辑仍留在Kubernetes中，而推理作为服务独立扩展。 如第4章所述，AI网关为自托管和基于Cloud的模型提供统一接口，使您无需修改应用程序代码即可在它们之间切换。

Kubernetes 工作负载类型

让我们深入探讨关键的 Kubernetes 基本单元及其在 AI 应用中的角色。 每种类型在以下章节中有更详细的描述 Kubernetes模式中详细说明。 斜体部分对应相关模式：

部署

用于始终运行的无状态服务（ ），例如主应用程序后端或事件驱动的编排器。 部署管理这些长期运行的组件的滚动更新、扩展和重启。 在AI应用中，AI编排器处理请求或事件，而LLM推理服务器（通常处理GPU请求）负责推理。 两者均作为部署运行，可独立扩展。 参见声明式部署模式。

StatefulSet

用于需要稳定身份或持久存储的有状态服务（ ）。 典型示例包括数据库、缓存或存储嵌入向量与上下文的向量存储库。 StatefulSets确保这些组件在重启时数据完整无损。 ...