可靠的机器学习

第 8 章 服务 服务

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

你已经建立了一个模型；现在你必须把它带到外面的世界，开始预测事物。这个过程通常被称为 "为模型服务"。这是 "创建一个结构，确保我们的系统可以要求模型对新的示例进行预测，并将这些预测返回给需要的人或系统 "的常用简称（所以你可以理解为什么要发明这个简称）。

在我们的yarnit.ai在线商店示例中，我们可以想象，我们的团队刚刚创建了一个模型，该模型在预测特定用户购买特定产品的可能性方面非常出色。我们需要一种方法，让模型与我们的整个系统共享其预测结果。但是，我们究竟应该如何设置呢？

我们有一系列可能性，每种可能性都有不同的架构和权衡。它们在方法上有足够大的差异，以至于从列表中看不出它们都在试图解决同一个问题：如何将我们的预测与整个系统结合起来？我们可以采取以下任何一种方法：

• 将模型加载到爱荷华州得梅因市的 1000 台服务器中，并将所有传入流量输送到这些服务器。

• 使用大型离线批处理作业，预先计算模型对 100,000,000 种最常见的纱线产品和用户查询组合的预测。每天一次将这些数据写入共享数据库，由我们的系统读取，并对不在该列表中的任何数据使用默认分数p= 0.01。

• 创建模型的 JavaScript 版本，并将其加载到网页中，以便在用户的浏览器中进行预测。

• 创建一个嵌入模型的移动应用程序，以便在用户的移动设备上进行预测。

• 提供不同版本的模型，在计算成本和准确性之间做出不同权衡。创建一个分层系统，在云中提供不同版本的模型，使用不同成本的硬件。将简单的查询发送到成本较低（准确度较低）的模型，将较难的查询发送到成本较高（准确度较高）的模型。

本章将专门帮助我们制定从类似选择中进行筛选的标准。在此过程中，我们还将讨论一些重要的实际问题，如确保服务中使用的特征管道与训练中使用的管道兼容，以及在服务中更新模型的策略。

示范服务的关键问题

我们可以通过多种方式来思考如何围绕支持服务的模式创建结构，每种方式都有非常不同的权衡取舍。为了帮助我们在这一领域中游刃有余，不妨思考一下有关我们系统需求的一些具体问题。

我们的模型将承受什么负荷？

要了解服务环境，首先要了解 我们的模型需要处理的流量水平--当按需查询时，通常称为每秒查询次数（QPS）。一个每天为数百万用户提供预测服务的模型可能需要每秒处理数以万计的查询。一个运行音频识别器的模型在移动设备上监听一个唤醒词，如 "Hey YarnIt"，其运行速度可能只有几 QPS。为房地产服务预测房价的模型可能根本不会按需提供服务，而是作为大型批处理流水线的一部分运行。

有几种基本策略可以解决大流量负载问题。第一种是在多台机器上复制模型并并行运行--或许可以使用云平台，这样既能分配流量，又能在需求增长时轻松扩展。第二种是使用更强大的硬件，如 GPU 等硬件加速器或其他专用芯片。这通常需要将请求分批处理，以最大限度地提高效率，因为芯片的功能非常强大，它们在输入和输出方面的瓶颈可能大于计算模型预测本身。¹

我们还可以调整模型本身的计算成本，或许可以通过使用更少的特征，或使用层数或参数更少的 Deep Learning 模型，或采用量化和稀疏化等方法来降低内部数学运算的成本。模型级联也能有效降低成本--即使用便宜的模型对简单的示例进行初步猜测决策，然后只将更难的示例发送给更昂贵的模型。

我们模型的预测延迟需求是什么？

预测延迟是指从我们发出请求到得到回复之间的时间 。不同应用可接受的预测延迟会有很大差异，这也是服务架构选择的主要决定因素。 ...