人工智能系统性能工程 (Chinese Edition)

附录. 人工智能 系统性能检查清单（175+项）

这份详尽的检查清单涵盖了面向人工智能系统性能工程师的广泛流程级最佳实践与精细化底层调优建议。每个检查项都作为实用指南，帮助工程师从人工智能系统中榨取最大性能与效率。

在调试、性能分析、系统评估及优化过程中，请参考本指南。通过系统性应用这些技巧——从底层操作系统与CUDA调整到集群级优化——AI系统性能工程师可在现代NVIDIA GPU硬件上实现极速执行与成本效益兼顾的运行，支持CUDA、PyTorch、OpenAI Triton、TensorFlow、Keras及JAX等多种AI软件框架。本检查清单中的原则同样适用于未来世代的NVIDIA硬件，包括其GPU、基于ARM的CPU、CPU-GPU超级芯片、网络设备及机架系统.

性能调优与成本优化思维模式

建立务实且可追溯的循环机制——优先实现快速收益 再深入优化——将工程投入转化为可量化的投资回报。聚焦最大运行时与成本驱动因素，始终通过前后对比分析验证优化效果。

结合自动调优、框架升级、云定价杠杆和利用率仪表盘实现高投资回报率，记录结果并优先采用简单易维护的解决方案。在精度允许的情况下调整吞吐量敏感的超参数。以下是性能调优与成本优化思维的实践要点：

优先优化高成本环节

运用80/20法则。找出运行时间的主要贡献者并重点优化。若90%的时间消耗在几个内核或通信阶段，与其对仅占1%时间的环节进行微优化，不如深度优化这些关键环节。各章节的技术应应用于最关键环节。例如，若训练过程包含40%数据加载、50%GPU计算和10%通信，则应优先优化数据加载（可能将开销减半），再考虑GPU内核优化。

前后性能剖析

每次实施优化时务必测量其效果。这看似显而易见，但实践中常出现基于理论的调整未能奏效甚至适得其反的情况。假设工作负载不受内存限制，但你仍决定为训练任务启用激活检查点功能。这可能因额外计算开销导致内存消耗增加，反而拖慢任务进度。换言之，每次调整后都需对比吞吐量、延迟和利用率等关键指标。可使用内置分析器进行基础计时，例如统计100次迭代器的平均耗时。

建立自适应自动调优反馈循环

实施基于实时性能反馈的高级自动调优框架——运用强化学习或贝叶斯优化等技术——实现系统参数动态调整。这种方法能使系统持续根据变化的工作负载和运行条件优化配置。

预留优化时间预算

性能工程是迭代器投入的过程。存在边际效益递减规律——优先采摘低垂果实，如启用AMP和数据预取功能，这类优化往往能轻松实现2倍提升。而编写自定义内核等高难度优化则收益较小。务必权衡工程投入时间与运行时效率及成本节约之间的平衡。对于训练旗舰模型等大型周期性任务，即使5%的提升也值得投入数周调优，因其可能节省数百万成本。而针对一次性或小型工作负载，应聚焦高回报优化并保持务实态度。

持续关注框架升级动态

我们讨论的许多优化技术（如混合精度、融合内核和分布式算法）在Deep Learning框架与库中持续迭代。升级至最新版PyTorch或TensorFlow有时能立即提升速度，因其整合了新型融合运算或更优启发式算法。充分利用这些改进——它们本质上是零成本收益。请阅读版本说明以了解性能相关变更。

与供应商及社区成员协同设计

保持与硬件供应商及更广泛性能工程社区的联系，使软件优化与最新硬件架构保持同步。这种协同设计方法能通过定制算法来利用新兴硬件能力，从而发掘显著的性能提升空间。定期查阅厂商文档、参与技术论坛、测试驱动程序或框架的测试版。这些互动往往能发现可融入系统的全新优化方案与最佳实践。整合新型驱动优化、库更新及硬件专属技巧，可带来额外且有时显著的性能提升。 ...