AI工程

第 1 章. 利用基础模型构建人工智能应用简介

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

如果只能用一个词来形容 2020 年后的人工智能，那就是规模。ChatGPT、谷歌双子座和 Midjourney 等应用背后的人工智能模型已经达到了这样的规模：它们消耗了世界上相当一部分电力，而且我们面临着训练它们的公开互联网数据即将耗尽的风险。

人工智能模型的规模扩大有两大后果。首先，人工智能模型变得越来越强大，能够完成更多任务，从而实现更多应用。更多的人和团队利用人工智能来提高生产力、创造经济价值和改善生活质量。

其次，训练大型语言模型（LLMs）需要数据、计算资源和专业人才，只有少数组织能够负担得起。这就导致了模型即服务的出现：这些少数组织开发的模型作为服务提供给其他组织使用。现在，任何希望利用人工智能构建应用的人都可以使用这些模型，而无需预先投资构建模型。

简而言之，对人工智能应用的需求增加了，而构建人工智能应用的门槛却降低了。这使得人工智能工程--在现成模型基础上构建应用的过程--成为增长最快的工程学科之一。

在机器学习（ML）模型之上构建应用并不是什么新鲜事。早在 LLMs 成为显学之前，人工智能就已经为许多应用提供了动力，包括产品推荐、欺诈检测和流失预测。虽然生产人工智能应用的许多原则保持不变，但新一代大规模、随时可用的模型带来了新的可能性和新的挑战，这也是本书的重点所在。

本章首先概述了人工智能工程爆发背后的关键催化剂--基础模型。然后，我将讨论一系列成功的人工智能使用案例，每个案例都说明了人工智能擅长什么，还不擅长什么。随着人工智能的能力与日俱增，预测其未来的可能性变得越来越具有挑战性。不过，现有的应用模式可以帮助我们发现当前的机遇，并为人工智能在未来的应用提供线索。

在本章的最后，我将概述新的人工智能堆栈，包括基础模型的变化、不变之处，以及当今人工智能工程师的角色与传统 ML 工程师的角色有何不同。¹

人工智能工程的兴起

基础模型产生于大型语言模型，而大型语言模型又起源于语言模型。虽然像 ChatGPT 和 GitHub 的 Copilot 这样的应用看似凭空出现，但它们是数十年技术进步的结晶，而最早的语言模型出现在 20 世纪 50 年代。本节将追溯从语言模型发展到人工智能工程的关键突破。

从语言模型到大型语言模型

虽然语言模型已经存在了一段时间，但只有通过自我监督才能发展到今天的规模。本节将简要介绍语言模型和自我监督的含义。如果您已经熟悉这些内容，请随意跳过本节。

语言模型

语言模型对一种或多种语言的统计信息进行编码。直观地说，这些信息告诉我们一个词在特定语境中出现的可能性有多大。例如，在 "我最喜欢的颜色是____"的语境中，编码英语的语言模型预测 "blue "出现的频率应高于 "car"。

语言的统计性质早在几个世纪前就被发现了。在 1905 年的故事"The Adventure of the Dancing Men "中，夏洛克-福尔摩斯（Sherlock Holmes）利用简单的英语统计信息来解码神秘的棒状数字序列。由于英语中最常见的字母是E，福尔摩斯推断出最常见的棒图一定代表E。

后来，克劳德-香农（Claude Shannon）在第二次世界大战期间利用更复杂的统计信息破译了敌人的信息。他在 1951 年发表的里程碑式的论文《印刷英语的预测和熵》中研究了如何建立英语模型。这篇论文中引入的许多概念，包括熵，至今仍用于语言建模。

早期的语言模型只涉及一种语言。但如今，一个语言模型可以涉及多种语言。 ...