人工智能系统性能工程 (Chinese Edition)

第20章. 人工智能辅助 性能优化与向千万级GPU集群的扩展

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

本章汇集了多项案例研究与未来趋势，展示人类与人工智能如何协同优化AI系统性能。具体而言，人工智能可协助微调底层GPU代码，生成比人工编写更高效的内核程序。

从更宏观的角度看，这些案例表明即使在矩阵乘法等核心运算中，算法创新也能带来媲美硬件升级的性能提升。以强化学习迭代过程中的奖励反馈工作流为例（如图20-1所示），该方法可帮助系统环境找到最优GPU内核代码。

这些人工智能辅助方法不仅能提升性能、缩短训练时间并降低运营成本，还能实现大型模型在小型系统上的高效部署，从而推动人工智能的未来发展。换言之，这是人工智能助力创造更优秀的人工智能——我们对此深表赞赏！

图20-1. 运用 强化学习为特定环境寻找最优GPU内核代码

AlphaTensor人工智能发现算法提升GPU性能（谷歌DeepMind）

并非所有AI优化都发生在代码层面。 有时优化会深入算法与数学领域。DeepMind 2022年推出的AlphaTensor项目便是突破性范例——该项目运用AI发现了新型通用矩阵乘法（GEMM）技术。

GEMM作为支撑几乎所有模型训练与推理任务的核心运算，其效率的微小提升都将对整个AI领域产生深远影响。AlphaTensor通过强化学习将快速算法的探索转化为单人游戏模式，在海量可能性中进行搜索。

其惊人成果在于：发现的矩阵乘法公式超越了当时所有人类设计的算法。例如，它不仅重新发现了斯特拉森著名的2×2矩阵 次二次算法（如图20-2所示），还针对更大矩阵尺寸进行了优化。

真正的验证来自实际硬件测试。AlphaTensor针对NVIDIA Volta V100 GPU架构发现的专属方法，其大规模矩阵乘法速度比当时标准的cuBLAS库快10%-20%。在GEMM性能上实现10%-20%的提升意义重大——这相当于每个模型的正向和反向推导过程中，额外获得10%-20%的免费计算资源。这相当于每个模型的正向和反向传播都获得了额外10%–20%的免费计算能力。

图20-2. 斯特拉森用于 2×2矩阵乘法的次二次算法（来源：https://oreil.ly/5jzLn）

通常这类提升需依赖新硬件世代——或耗时数月的低级CUDA调优。而此次AI在相对短时间内，通过数学方法找到了更优解。

我们从中获得的启示是：在人类工程师视为创新的基础算法和数学运算中，可能仍存在未被发掘的效率空间。人工智能能够筛选数以万计甚至数百万种算法变体，而人类在合理时间内根本无法尝试如此庞大的数量级。对性能工程师而言，AlphaTensor的成功表明算法创新远未终结。未来，人工智能或许能为卷积、排序或注意力等基础运算提供更高效的算法工具包。

此案例的投资回报虽间接却影响深远。将AlphaTensor的矩阵乘法算法集成至GPU库后，任何大规模训练任务或推理工作负载都将获得瞬时提速。这将从图形渲染、LLM性能到科学计算产生全面影响。AlphaTensor证明：在数百台GPU上进行数千次训练迭代器时，15%的速度提升可转化为巨大的时间与能源节约。每次运行代码都能获得回报。更关键的是，这种加速无需额外硬件支持——仅凭更智能的软件即可实现。 ...