流式数据在实时人工智能应用中的应用

第 1 章. 为什么实时人工智能需要流数据

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

实时人工智能的核心是即时性，即在新信息出现时提供见解、做出决策和适应新信息。这种对即时性的要求源于智能本身的基本性质，即在世界发生变化时做出反应的能力。人类的认知不会以固定的时间间隔处理事件，相反，人们会在事件发生时对其做出反应。同样，实时人工智能也会即时做出反应，在不断适应现场条件的同时，借鉴大量的预训练。在这些系统中，通过检索增强生成（RAG）等机制或利用最近的上下文，最新检索的信息会立即将相关性带入上下文窗口。这些新鲜的数据可以根据最相关的可用知识及时做出明智的反应。

与依赖延迟输入的批处理不同，流式数据可提供持续的即时信息流。这使企业能够实时采取行动，而不是等待可能已经过时的见解。请看下面的使用案例，客户致电呼叫中心：

1. 客户通过即时聊天与支持代理开始对话，或将电话实时转录为文本。

2. 随着对话的展开，系统会捕捉对话的最新部分，以保持最新的上下文窗口。

3. 这种上下文被转换成结构化的表示法，以便与现有知识进行语义比较。

4. 系统使用这种表示法来搜索内部内容库，如文档、常见问题和以前的支持单。

5. 搜索会返回与当前对话上下文相匹配的最相关文档。

6. 检索到的文档与实时对话相结合，形成语言模型的输入提示。

7. 语言模型会生成包含检索内容和客户当前询问的回复。

8. 根据工作流程的不同，回复会直接发送给客户，或在发送前由支持代理进行审核。

9. 随着对话的继续，这一过程会不断重复，持续更新上下文并生成新的回复。

10. 来自代理或客户的反馈，包括编辑或评级，都会被记录下来，并可用于提高未来检索和生成的质量。

该工作流可提供即时的情境感知帮助，从而提升客户和支持人员的体验。客户可获得准确、相关的回答，无需长时间等待或重复，而座席人员则可获得智能建议的支持，从而减轻认知负荷，使他们能够专注于复杂或敏感的问题。该系统实时利用机构知识，从以往的案例和文件中提取解决方案，使新的或初级的座席人员更加有效。管理人员通过反馈回路获得洞察力，从而不断改进知识库和人工智能性能。因此，互动变得更加高效、可扩展性更强，并符合组织的服务标准。

这个客户服务示例将人工智能作为其实时处理的一部分。与大多数实时系统一样，它可以简化为三个实体：生产者、经纪人和消费者（见图 1-1），不过不同的实现方式使用的术语可能略有不同：

生产者

这些实体创建并广播数据或事件，由人工输入或捕捉实时互动的自动系统触发。在客户支持场景中，生产者是正在进行的聊天或语音转录，它在用户使用支持界面时生成会话数据。

中间商和管道

当数据在系统中移动时，这些实体会传输和完善数据。管道可以清理输入、提取上下文，或使用额外的元数据（如用户历史记录或票单分类）来丰富数据。人工智能通过维护上下文窗口、识别意图和执行语义编码以进行检索，来协助这些步骤。在这种情况下，中介是一个协调层，负责接收实时输入并为检索和生成做好准备。

消费者

消费者监听特定的相关输入，检索相关知识并生成响应。然后，这些响应将呈现给支持代理，后者可以在与客户共享之前对其进行审查、编辑或批准。在这种情况下，消费者就是面向代理的人工智能助手，根据检索到的知识和不断变化的对话上下文实时合成回复。

图 1-1. 基本信息模式

这是一个基本模板，用于实时数据系统中常用的更特殊的消息传递模式。

常见消息模式

大多数现代系统都遵循不同的架构模式，具体取决于使用情况。三种广泛使用的消息传递模式是点对点（队列）、发布-订阅（pub/sub）和事件流。所有这些模式都建立在生产者、代理和消费者的概念之上。它们都涉及消息传递，但在消息分发、可扩展性和处理保证方面都有不同的目的。 ...