Kubernetes 上的生成式人工智能 (Chinese Edition)

第1章 模型部署

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

当真实数据因隐私法规或合规要求无法离开自有集群，或需要更精细地控制模型部署与性能时，在自有集群内运行模型便成为必要选择。

市面上有许多不同的模型； 其中许多是开源的，可免费用于商业用途。Hugging Face 是最大的社区，您不仅可以在这里找到模型，还可以找到数据集和库。有关当前开源大型语言模型的列表，请参阅第 2 章。

无论模型来源是否开源，在Kubernetes上部署时存在若干与模型本身无关的通用环节。但某些环节需深入分析模型特性以确定最佳方案。

本章将介绍运行时管理模型生命周期的不同方法与模式，重点聚焦于LLMs最常用的运行环境。 在深入部署细节前，请参阅侧边栏了解支撑现代LLMs的Transformer架构背景。

Transformer架构与注意力机制

生成式人工智能领域广阔，不同模型类别的成熟度差异显著，其中文本生成模型应用最广泛且优化程度最高。

现代LLMs主要基于Transformer架构或其衍生方案（如专家混合方法），尽管Transformer技术也已扩展至视觉与多模态任务领域。这类模型可覆盖多种文本处理场景：聊天机器人、代码生成、翻译、摘要生成等。

Transformer架构是 于2017年创建并推出的Deep Learning架构，通过注意力机制更高效地追踪长距离依赖关系。 相较于循环神经网络（RNNs）等架构，其核心优势在于不包含递归单元。 这意味着它不会将一个神经元的输出作为另一个神经元的输入。 该特性使其在训练过程中具备高度可并行性。

长程依赖是自然语言处理的核心概念：句子的含义受上下文影响。

注意力机制通过为句子各组成部分分配不同权重（或重要性），模拟人类注意力机制（ ）。 其中多头注意力机制尤为关键：它通过并行运行多次注意力机制生成不同输出，最终将这些输出进行拼接并线性转换。

有关Transformer架构 和注意力机制的更多信息，请参阅文章《Transformer如何工作？》。

"我的机器上运行正常"

在探讨如何将模型部署到Kubernetes集群之前， 让我们先了解如何在本地机器上运行模型。

简而言之，部署模型需要同时具备模型本体和能够加载执行它的运行环境。 如前所述，基于Transformer的LLMs 是最常见的大型语言模型。 因此，您可以使用Hugging Face的Transformers库加载模型并调用它。 但这并不意味着每台笔记本电脑 都能处理类似工作负载，也无法加载任意规模的模型。 部分模型可通过CPU执行，但性能极为有限（生成完整句子需数十秒）。 实际上GPU是必需的。 此外，内存需求 与模型规模直接相关。 70亿参数模型（简称7B） 被视为小型语言模型（SLM），加载需配备约15GB内存的GPU。 而700亿参数模型则需要约140GB内存。

代码示例1-1展示了该方法的实现过程。

示例 1-1. 使用 Transformers加载并 执行 Llama 3 1B 模型

import transformers
import torch
import os

model_id = "meta-llama/Llama-3.2-1B-Instruct"   

pipeline ...