快速提升人工智能产品的实用指南

快速改进人工智能产品实用指南

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

大多数人工智能团队都专注于错误的事情。以下是我在咨询工作中常见的一幕：

人工智能团队："这是我们的代理架构--这里有 RAG，那里有路由器，我们正在使用这个新框架来......"

我：[举手示意热情的技术主管暂停]"你能告诉我你是如何测量这些东西是否真的有效的吗？"

......房间安静下来

在过去两年里，这样的场景已经上演了几十次。团队投入数周时间构建复杂的人工智能系统，但却无法告诉我他们的改变是有益还是有害。

这并不奇怪。每周都有新的工具和框架出现，我们自然会把注意力集中在我们可以控制的有形事物上--使用哪个向量数据库、选择哪个大型语言模型（LLM）提供商、采用哪个代理框架。但在帮助 30 多家公司打造人工智能产品之后，我发现那些成功的团队几乎不谈工具。相反，他们沉迷于测量和迭代器。

在本报告中，我将向你展示这些成功团队的具体运作方式。您将了解到

• 误差分析如何持续揭示投资回报率（ROI）最高的改进措施

• 为什么简单的数据查看器是您最重要的人工智能投资？

• 如何授权领域专家（而不仅仅是工程师）改进人工智能

• 合成数据为何比您想象的更有效

• 如何保持对评估系统的信任

• 为什么人工智能路线图应包含实验而非功能？

我将用实际案例来解释每一个主题。虽然每种情况都是独一无二的，但无论你的领域或团队规模如何，你都会看到适用的模式。

首先，让我们来看看我所看到的团队最常犯的错误--它让人工智能项目在开始之前就已经脱轨。

最常见的错误：跳过错误分析

工具优先 "的思维模式是人工智能开发中最常见的错误。团队沉迷于架构图、框架和仪表盘，却忽视了实际了解哪些有效、哪些无效的过程。

一位客户自豪地向我展示了他们的评估仪表板（见图 1）。

图 1. 预示失败的仪表盘

这就是 "工具陷阱"--认为采用正确的工具或框架（这里指通用指标）就能解决人工智能问题。通用度量标准不仅毫无用处，反而会在两个方面阻碍进步：

• 首先，他们会产生一种错误的衡量和进步意识。团队认为他们是数据驱动型的，因为他们有仪表盘，但他们跟踪的是与真实用户问题不相关的虚荣指标。我见过一些团队庆祝他们的 "有用性得分 "提高了 10%，而他们的实际用户却还在为基本任务而苦苦挣扎。这就好比在优化网站加载时间的同时，你的结账流程却出了问题--你在错误的事情上做得更好了。

• 其次，过多的指标会分散你的注意力。你不是专注于对特定用例重要的几个指标，而是试图同时优化多个维度。当一切都很重要时，就什么都不重要了。

另一种选择是什么？错误分析--这是人工智能开发中最有价值的活动，也一直是回报率最高的活动。让我向您展示一下有效的错误分析在实践中是什么样的。

误差分析过程

当NurtureBoss 公司的创始人雅各布-卡特（Jacob Carter）需要改进他们的公寓行业人工智能助手时，他的团队建立了一个简单的查看器来检查人工智能与用户之间的对话。每段对话旁边都有一个空间，用于记录有关故障模式的开放式笔记。

在对数十个对话进行注释后，出现了清晰的模式。他们的人工智能在日期处理方面很吃力--当用户说 "让我们安排两周后的参观 "这样的话时，66% ...