動かして学ぶAI・機械学習の基礎 ―TensorFlowによるコンピュータビジョン、自然言語処理、時系列データの予測とデプロイ

19章TensorFlow Servingへのデプロイ

これまでに、Android、iOS、Webブラウザへのモデルデプロイについて紹介しました。モデルをデプロイできる場所がもう1つあります。サーバです。サーバにデータを渡し、サーバがモデルを使って推論を実行し、結果を返します。これをTensorFlow Servingが実現します。TensorFlow Servingはモデルのシンプルな「ラッパー」であり、本番レベルのスケーラビリティとAPIを提供します。この章では、TensorFlow Servingの概要を紹介し、TensorFlow Servingを使った簡単なモデル推論のデプロイと管理方法を説明します。

19.1　TensorFlow Servingとは

本書では、主にモデルを作成するコードに焦点を当ててきました。それ自体も多大なる労力を必要とするものですが、機械学習モデルの実運用で要求される作業のほんの一部にすぎません。図19-1にあるように、モデルのコードは、設定、データ収集、データ検証、モニタリング、マシンリソース管理、特徴量抽出、さらに分析ツール、プロセス管理ツール、サービス提供インフラストラクチャなどと連携しなければ稼働できません。

このためのTensorFlowのエコシステムを、TensorFlow Extended（TFX）と呼びます。本章では、この中のサービス提供インフラストラクチャだけを取り上げます。TFXについて詳しく知りたい場合は、Hannes HapkeとCatherine NelsonによるBuilding Machine Learning Pipelines（O'Reilly社）†1を参照してください。

[†1] 訳注：邦題『入門 機械学習パイプライン』オライリー・ジャパン刊、2021 ...