PyTorch 中的 AI 和 ML 编码

第 13 章 为服务托管 PyTorch 模型

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

在本书的前几章中， ，我们研究了许多训练 ML 模型的场景，包括计算机视觉、NLP 和序列建模。但这仅仅是第一步--如果没有让其他人使用其功能的方法，模型就没有什么用处！在本章中，我们将简要介绍一些比较流行的工具，这些工具可以让你给他们提供使用模型的方法。

你应该注意到，将一个训练有素的 PyTorch 模型转化为生产就绪的服务所涉及的工作远不止部署它这么简单，机器学习运营（MLOps）学科的设计也考虑到了这一点。当你进入为这些模型提供服务的世界时，你需要了解新的挑战，例如处理实时请求、管理计算资源、确保可靠性以及在不同负载下保持性能。

归根结底，MLOps 是数据科学与软件工程之间的桥梁。这超出了本章的讨论范围，但 O'Reilly 出版社有一些关于这方面的好书，包括 Yaron Haviv 和 Noah Gift 所著的《在企业 中实施 MLOps》和 Abi Aryan 所著的《LLMOps》。

本章将介绍在生产环境中服务 PyTorch 模型的两种流行方法。

我们将从 PyTorch 的官方服务解决方案 TorchServe 开始，它提供了一个专为大规模服务 Deep Learning 模型而设计的强大框架。TorchServe 为模型版本控制、A/B 测试和指标收集等标准服务要求提供了开箱即用的解决方案。对于正在寻找只需最少设置即可投入生产的解决方案的团队来说，它也是一个极佳的选择。

然后，我们将探讨如何使用流行的 Flask 框架构建服务解决方案，这适合需要更多灵活性或有更直接服务需求的开发人员。Flask 的简单性和广泛的生态系统也使其成为小规模部署和概念验证服务的绝佳选择。

在学习本章的过程中，你将采用动手实践的方法，利用你在前面章节中创建的一些模型，让我们指导你如何部署它们，然后调用它们的托管服务器进行推理。

介绍 TorchServe

TorchServe是 PyTorch 的默认 服务框架，其设计旨在提高性能和灵活性。你可以在pytorch.org/serve 上找到它。

TorchServe 最初的目标是提供一个参考实现，说明如何通过模块化可扩展架构为模型提供正确的服务，但现在它已经发展成为一个性能全面的专业级框架，足以满足任何服务需求。

它还建立在模块化架构之上，旨在处理大规模模型服务的复杂性。为此，它由以下关键组件构建而成：

模型服务器

PyTorch 模型服务器是处理模型生命周期和所有推理请求的中心组件。它为模型管理和推理提供端点，支持 REST 和 gRPC 调用。

模型工作者

这些都是加载模型并对其执行推理的独立进程。每个进程都是独立的，因此在多模型服务环境中，如果某个模型出现问题，它们可以继续运行。

前端处理程序

这些是自定义的 Python 类，用于处理特定模型类型的预处理、推理和后处理。稍后我们将亲身体验，前端处理程序是模型训练代码的补充，因此创建单独的处理程序类是个不错的做法。

模型存储

PyTorch中的模型服务使用 "模型存档 "或 MAR 文件来提供服务对象。一旦你训练好了模型，就会把它转换成这种格式。模型存储空间就是保存这些文件的地方。

您可以在图 13-1 中看到 TorchServe 系统的架构图。

图 13-1. TorchServe 服务器基础设施

对于推理，客户端应用程序将通过 REST（默认端口 ...