人工智能系统性能工程 (Chinese Edition)

第17章. 扩展 分离式预填充与解码的推理能力

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

如前文所述，LLM的推理过程可分为两个独立阶段： 预填充阶段与解码阶段。预填充阶段处理输入prompt，为该prompt生成LLM内部的键值（KV）缓存；解码阶段则利用这些缓存值逐个生成输出令牌——在推测性解码场景下，也可能批量生成若干令牌。

这两个阶段具有根本不同的性能特征。预填充阶段受计算能力限制，需并行处理数千个令牌的密集矩阵乘法运算，消耗大量浮点运算能力（FLOPS）。相比之下，解码阶段受内存I/O限制，每次生成令牌时需读取庞大的KV缓存、写入新值，对内存带宽提出严苛要求。简言之，预填充是高吞吐量的并行工作负载，而解码则是顺序执行的延迟敏感型工作负载。

早期的大型LLM服务系统将这两个阶段视为同一硬件上的单体管道。因此，它们通常通过请求批处理优先处理预填充阶段以提升吞吐量.然而随着交互式应用的增长， 的延迟指标（如首次令牌获取时间TTFT——即所有令牌的预填充延迟，以及单输出令牌时间TPOT——即单令牌解码延迟）的重要性已不亚于原始吞吐量。当同时处理两个阶段时，基于单GPU的推理引擎难以同时优化TTFT和TPOT。

批量处理大量请求虽能提升吞吐量，但会因每个请求需等待最慢的预填充而恶化TTFT。同时也会影响TPOT，因为解码步骤会被新prompt的预填充操作拖延。

单体推理系统必须在两者间取舍：要么以牺牲后续令牌生成速度为代价提升（缩短）首个令牌生成时间，要么在承受新请求高初始延迟的前提下提升（增加）单令牌吞吐量。极端情况下，单个长prompt可能完全占用GPU资源，导致其他用户的prompt预填充任务全部受阻。而一旦解码开始，逐令牌处理模式将导致GPU核心在每次令牌生成间隙处于空闲状态。

为解决这些问题，研究人员和工程师 探索了分离两个阶段的方法。关键洞见在于预填充和解码实际上无需在同一硬件上运行——甚至无需相同类型的硬件。

分离预填充与解码阶段意味着将它们分配给不同资源，这些资源各自专为特定阶段的需求而优化。这一理念由DistServe论文中的系统率先提出，该研究证明通过消除阶段间干扰，可同时满足TTFT和TPOT的严格延迟要求。

DistServe评估表明，相较于未分离预填充/解码功能的先进基准方案，该方案可在严格延迟服务级别目标(SLO)内处理多达7.4倍的请求量。由此，行业框架开始尝试分离预填充与解码服务器。

开源vLLM库结合LMCache等组件引入了解耦操作。NVIDIA的Dynamo通过动态路由和自动扩展实现了解耦预填充与解码功能，并公开了操作细节文档。众多供应商和开源框架正在实施或评估解耦方案。例如，为满足严格的延迟SLO，OpenAI、Meta和xAI的工业级服务系统据称已采用此解耦架构。因此，解耦式预填充与解码已成为大规模LLM推理的标准实践。

在超大规模场景下，大型推理部署可能涉及数十万甚至数百万GPU处理数十亿请求。此类环境中，解耦架构带来的成本与性能优势极为显著。

通过拆分工作负载，可独立优化各阶段处理流程，避免某一环节成为其他环节的瓶颈。本章后续内容将探讨如何设计并运营极端规模的解耦预填充/解码推理系统。

本章将探讨用于在预填充与解码工作节点间路由请求的调度算法、在高负载下维持服务质量（QoS）的技术，以及实现高效分离的机制。内容涵盖高速互连技术到专用解码内核，还将讨论为各阶段采用不同GPU类型的异构硬件策略。

为何采用预填充-解码解耦？ ...