变形金刚权威指南 (Chinese Edition)

前言

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

2019年我初次接触Transformer模型时，便立刻被它深深吸引。两年后，我基于注意力机制构建了自己的Deep Learning架构，同年还首次在大学讲授了关于视觉Transformer的课程。当时令我印象深刻、至今仍让我惊叹的，正是这种架构的极强通用性。一旦理解了Transformer的工作原理，各种模式便开始显现。 你会发现相同的原理如何适用于图像、视频、音频乃至更广泛的领域。更深层的洞见并非在于将每个领域视为独立的问题（这在Deep Learning中很常见），而在于认识到Transformer架构如何自然地跨越不同领域。

事实证明，无论你建模的是离散令牌、图像块还是频谱图帧，核心逻辑始终如一。你可以改变表示轴，但底层架构依然保持不变。这就是Transformer的优雅之处——至少对我而言是如此——也是我决定撰写此书的原因：分享我对Transformer的热情，并让你以自己的节奏去发现这种优雅。

此外，当Transformer作为更大系统的一部分被应用时，其表现也持续令我着迷。当你将多个模型组合成一个能够推理、行动并针对任务进行迭代的智能体时，它们的真正威力便显现出来。 除了单纯连接模型，我最近的研究重点是将Transformer与测试时计算及强化学习相结合。这些理念的融合，使得构建能够自适应、自我提升并从自身行为中学习的系统成为可能。这也正是我将博士研究聚焦于自改进AI代理的原因。

在阅读本书的过程中，您将既能了解变压器在不同领域的演进历程，也能追随我个人与之共事的成长轨迹，直至我近期关于构建AI代理人的最新研究。在此过程中，我将分享我个人对这些模型的思考——即我用来推导架构、权衡取舍及系统行为的心智模型，以及这些模型如何影响我在实践中的设计决策。 我的目标不仅是向你展示什么有效，更是帮助你理解其背后的原理。

读完本书，我希望你能与我达成共识：不再将Transformer视为孤立的模型，而是将其视为更大系统中的构建模块。Transformer不仅仅是一种架构，更是一种抽象框架。正因如此，它并非昙花一现的潮流，而是我们跨领域进行建模、概括与连接方式的根本转变。阿瑟·C·克拉克（ ）曾说过：

任何足够先进的技术，都与魔法无异。

我希望，随着你阅读本书，它能为你提供工具，将注意力的“魔力”转化为可靠、经过工程设计的现实。

本书内容简介

本书是一本实用的系统指南，旨在帮助您构建跨模态的智能Transformer驱动型应用，作者本人曾亲手设计、调试并部署过这些架构于实际产品中。

您将从第一性原理开始：分词、嵌入向量、注意力机制、编码器和解码器设计，以及支持长上下文推理的现代架构增强。在此基础上，本书将跨领域展开，展示相同的核心Transformer抽象如何应用于时间序列预测、计算机视觉、图像与视频生成、音频理解、强化学习以及推理驱动的编码系统。

各章节并非孤立处理每种模态，而是基于共同的结构展开：令牌如何转化为补丁、帧或频谱图切片；注意力机制如何在不同领域中适应；以及架构选择如何影响性能、稳定性和成本。

后面的章节将深入探讨强化学习、测试时计算、推理模型和人工智能代理，将Transformer与世界模型、规划算法以及多智能体架构相连接。本书旨在帮助您理解Transformer如何从独立的预测器演变为自适应系统的组成部分。

本书不仅关注单个模型，更侧重于系统级思维。您将了解 Transformer 在生产环境中部署时的行为表现，如何优化推理和训练管道，如何管理内存与计算资源，以及如何将模型集成到能够随时间推移进行规划、反思和自我优化的智能体工作流中。 ...