Kubernetes 上的生成式人工智能 (Chinese Edition)

第一部分 推理

第一部分探讨生成式人工智能模型部署与执行过程中需重点考虑的环节。之所以将此置于首位，是因为与预测型人工智能模型不同，生成式模型通常无需从零开始创建全新的基础模型。

基础模型的创建是极度消耗资源、时间和数据的活动，其采用类似技术但规模更大。开展此类工作的企业极为有限，故本书不予赘述。

模型生命周期的这一阶段在AI领域并非新鲜事物——自AI投入生产环境以来，模型服务始终是核心环节。然而新型模型的规模与复杂性带来了重大挑战。 除历史意义外，推理 已成为现代AI应用的主要切入点。AI工程师通常通过推理API将预训练模型集成到现有应用中，无需深厚Deep Learning专业知识即可为传统软件注入AI能力。此外，推理基础设施作为智能体AI系统的基底层，需使多个模型与工具无缝协作以完成复杂任务。

生成式人工智能是极具活力的领域，本书无意罗列所有现有项目、运行时或工具。该领域发展远未成熟，持续的研究正不断突破技术边界。 学术界与产业界正以淘金热般的速度产出新论文、新库及新项目。 本节将重点介绍其中部分技术，尤其聚焦于运用Kubernetes平台打包、部署并服务首个模型的核心原理。

注

模型服务是 MLOps 生命周期中的关键阶段，涵盖模型的所有执行环节：部署、扩展、监控与优化。

本部分章节涵盖在Kubernetes上部署生成式AI服务的初体验：

• 第1章《模型部署》阐述了运行时与模型生命周期部署管理涉及的组件。

• 第2章《模型数据》聚焦于模型的文件格式、存储技术及加载机制。