第12章. 下一步 :从模型 到智能系统
本作品已使用人工智能进行翻译。欢迎您提供反馈和意见:translation-feedback@oreilly.com
这本《 》已进入最后一章,至此您已了解到Transformer架构的多样性和适应性。您从第一性原理出发,见证了单一架构如何驱动时间序列、视觉、图像与视频生成、音频、强化学习、规划以及编码等领域的模型。 你还了解到,诸如树搜索或重新排序等测试时计算,以及强化学习如何提升性能并引导行为。同时,你目睹了代理系统如何构建规划、行动、反馈与自我修正的循环。
本书绝非旨在罗列孤立的技术,而是要展示 Transformer 已成为连接数据、决策与工具的通用接口。 请将本书视为你的基石,以此从单个模型迈向由专业组件协同工作、共同解决实际任务的更大系统。至此,你已理解了使 Transformer 能在不同领域发挥作用的架构、模式和推理逻辑。你的下一步并非学习另一个模型或追逐另一个基准。下一步是学习如何将这些组件整合成一个连贯、可靠、易于维护且能够通过经验不断改进的系统。
该领域正在发生的“”转变正印证了这一点。进步不再由单一检查点或更大的上下文窗口来定义,而是由能够集成多个模型、在测试时分配计算资源、协调工具使用、管理内存并从自身错误中学习的系统来定义。表 12-1展示了 2024 年和 2025 年各领域发表论文数量的快照。
| 主题 | 2024年论文 | 2025年论文 |
|---|---|---|
代理系统与多代理系统 |
820 |
2,520 |
强化学习结合Transformer或LLMs |
1,200 |
3,082 |
自改进系统加Transformer或LLMs |
209 |
458 |
测试时计算量加上Transformer或LLMs |
395 |
1,053 |
该表表明,这一趋势并非理论上的。它体现在研究分布本身中。我从arXiv上抓取了2024年和2025年表中所示领域内的论文。 此次抓取并非穷尽所有数据,因为部分论文可能因命名规范、关键词缺失或上传时间超出查询窗口而遗漏。5月/6月和11月左右的峰值在预料之中,因为这受到ICML和NeurIPS投稿周期的影响,这些月份的论文数量自然会增加。即便考虑到这一背景,趋势依然清晰。 代理/多智能体系统在2024年至2025年间的显著增长,表明这些系统已成为全球顶尖研究实验室的主要关注点。测试时计算量的激增(增长近3倍)表明,业界已意识到让模型进行更长时间的思考(搜索、推理、验证)比单纯扩大模型规模更为高效。 该领域不再追求参数数量的扩张,而是致力于提升各组件间的协调、对齐与优化。模型不再是孤立的终端,而是系统的一部分。图12-1和图12-2展示了这两年的发展趋势及增长情况。
图12-1. 2024年的研究 势头:从强化学习到智能体与自改进 系统。
图12-2. 2025年的研究 动向:从强化学习到具有代理特性的自改进 系统。
正是这一 ,促使我希望通过本章,将您的思维从以模型为中心的实践者,转变为系统思考者——即能够有意识地将多个模型相互连接的人。 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access