AI工程

前言

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

当 ChatGPT 问世时，和我的许多同事一样，我也感到迷惑不解。让我惊讶的不是模型的规模或能力。十多年来，人工智能界一直都知道，扩大模型的规模可以改善模型。2012 年，AlexNet 的作者在他们具有里程碑意义的论文中指出"我们所有的实验都表明，只需等待更快的 GPU 和更大的数据集出现，我们的结果就能得到改善"。^1,2

让我感到惊讶的是，这种能力的提升解锁了大量的应用。我原以为模型质量指标的小幅提升可能会导致应用的适度增加。相反，它带来了爆炸性的新可能性。

这些新的人工智能能力不仅增加了对人工智能应用的需求，还降低了开发者的入门门槛。构建人工智能应用变得如此容易上手。甚至可以不写一行代码就能构建一个应用程序。这一转变将人工智能从一门专业学科转变为人人都能使用的强大开发工具。

尽管今天人工智能的应用看似新颖，但它是建立在早已存在的技术基础之上的。早在 20 世纪 50 年代，就有关于语言建模的论文问世。检索增强一代（RAG）应用建立在检索技术的基础上，而检索技术早在 RAG 一词出现之前就已经为搜索和推荐系统提供了支持。部署传统机器学习应用的最佳实践--系统实验、严格评估、不懈优化以获得更快更便宜的模型--仍然是基于基础模型的应用的最佳实践。

许多人工智能工程技术的熟悉性和易用性会让人误以为人工智能工程没有什么新东西。但是，虽然构建人工智能应用程序的许多原则保持不变，但人工智能模型的规模和能力的提高带来了机遇和挑战，需要新的解决方案。

本书涵盖了调整基础模型以解决实际问题的端到端过程，其中包括其他工程领域中屡试不爽的技术和基础模型中新出现的技术。

我开始写这本书是因为我想学习，而且我确实学到了很多东西。我从参与的项目、阅读的论文和采访的人中学到了很多。在本书的写作过程中，我使用了100多次谈话和访谈的笔记，其中包括来自主要人工智能实验室（OpenAI、谷歌、Anthropic......）的研究人员、框架开发人员（英伟达、Meta、Hugging Face、Anyscale、LangChain、LlamaIndex......）、不同规模公司的高管和人工智能/数据主管、产品经理、社区研究人员以及独立应用开发人员（参见"致谢"）。

我尤其从早期读者那里学到了很多，他们检验了我的假设，向我介绍了不同的观点，并让我接触到了新的问题和方法。本书的一些章节在我的博客上分享后，还收到了来自社区的成千上万条评论，许多评论给了我新的视角或证实了我的假设。

我希望，当这本书交到你们手中时，我的这一学习过程将继续下去，因为你们有自己独特的经验和观点。如果您对本书有任何反馈意见，请随时通过X、LinkedIn 或发送电子邮件至[e-mail] 与我分享。

本书内容

本书为基础模型（包括大型语言模型（LLMs）和大型多模态模型（LMMs））适应特定应用提供了一个框架。

构建应用程序有许多不同的方法。本书概述了各种解决方案，还提出了一些问题，您可以根据自己的需要评估最佳解决方案。本书可以帮助你回答的问题包括： 1：

• 我是否应该构建此人工智能应用？

• 如何评估我的应用？我可以使用人工智能来评估人工智能输出吗？

• 是什么导致了幻觉？如何检测和减轻幻觉？

• 提示工程的最佳实践是什么？

• RAG 为什么有效？进行 RAG 的策略是什么？

• 什么是代理？如何构建和评估代理？

• 何时对模型进行微调？何时不对模型进行微调？

• 我需要多少数据？如何验证数据质量？ ...