Kubernetes 上的生成式人工智能 (Chinese Edition)

后记

生成式人工智能领域正以前所未有的速度发展。随着社区从生产部署中不断学习，模型能力日益增强，框架层出不穷且持续演进，最佳实践也在不断更新。 然而在这快速变革之下，存在着一个稳定的基础：Kubernetes 已确立其作为大规模生成式人工智能工作负载运营化首选平台的地位。 其协调多样化工作负载类型（从LLM推理服务到传统微服务再到数据管道）的能力，使其成为定义现代生成式人工智能系统的混合应用程序的理想选择。

这种优势在新兴的智能体生态中尤为显著——生成式AI模型不再孤立运行，而是通过与工具、服务及其他模型交互来完成复杂任务。 此类架构需要能无缝整合生成式AI组件与业务逻辑、数据库及外部API的平台。 Kubernetes在集成领域表现卓越，如同连接组织般将AI驱动应用的所有组件凝聚为一体。

全书始终秉持务实导向： 摒弃按时间顺序展开的传统路径（通常应先确定GPU配置与网络拓扑等基础设施决策），而是从具体执行任务切入，逐步探索高效运行方案。 这种方法恰与多数企业采用生成式AI的实践路径相契合：先部署现有模型，再通过实践持续优化运行效率。 尽管硬件决策和高级调度章节出现在后半部分，但这些主题代表了生产集群配置的关键基础环节，必须从一开始就精心规划。

本书涵盖内容

本书围绕在Kubernetes上运行生成式AI的运维挑战展开，分为四个实用部分：

• 推理基础篇阐明了如何在Kubernetes上部署和运行LLMs。 你学会了应对多吉字节模型权重、漫长初始化时间以及特殊存储需求等独特挑战——这些正是LLM工作负载区别于传统应用的关键特征。 这些章节聚焦于打包、持久化存储，以及让首个生成式AI服务稳定运行。 生产就绪篇解决了成功部署后出现的运维问题。

• 生产就绪篇解决部署成功后出现的运维问题。 除CPU内存等标准指标外，你学会追踪LLM特有的指标：令牌吞吐量、prompt延迟和推理成本。 GPU资源管理是核心内容，涵盖稀缺加速器的有效调度、利用率最大化，以及在保障服务可用性的同时考虑模型预热时间的扩展策略。

• 模型定制与优化章节探讨了如何通过微调和LoRA等高效技术将预训练模型适配特定领域。 您学会了管理训练任务的密集资源需求，包括多GPU协同、配额分配和检查点管理。 高级任务调度涵盖了在并行运行推理与训练工作负载时优化集群利用率的方法。

• AI驱动应用展示了如何围绕LLM服务构建完整系统。 您探索了包括检索增强生成（通过领域知识增强模型响应）和智能体应用（模型自主交互工具与服务）在内的架构模式。 重点在于将LLM能力集成到微服务架构中，并协调复杂的生成式AI工作流。

每章均采用独立章节设计，可直接跳转至与当前挑战最相关的主题。 无论您需要立即优化GPU利用率，还是担任AI应用架构师，都能获得聚焦且可操作的指导，无需按顺序通读全书。

结语

所有美好的事物终有尽时，本书亦然。 无论您是平台管理员、MLOps工程师，还是设计AI赋能系统的架构师，我们希望本书能为您在Kubernetes上运行生成式AI工作负载奠定坚实的运维基础。 记录这一技术演进的过程既令人振奋又充满挑战。我们常质疑某个主题数周后是否仍具相关性。

在生成式AI生态中，每个清晨都有新项目苏醒。它深知必须比竞争对手更快被采纳，否则就会被更耀眼的框架取代。 在生成式AI生态中，每当晨光初现，书籍作者便知晓：必须以超越项目诞生的速度更新内容，否则著作尚未付梓便已过时。无论你是项目开发者还是书籍作者：当朝阳升起时，你最好已开始奔跑。

自诞生起便遭弃用的圣典

我们的解决方案？聚焦超越单一工具的运维原则与模式，同时提供足够具体的示例使这些原则可立即付诸实践。 ...