scikit-learn、Keras、TensorFlowによる実践機械学習 第2版

19章大規模なTensorFlowモデルの訓練とデプロイ

素晴らしい予測をする見事なモデルができたら、そのモデルをどうすればよいだろうか。もちろん、本番実行に移さなければならない。毎晩このモデルを実行するスクリプトでも書いて、データバッチに対してモデルを実行すればよい場合もあるが、普通はもっと複雑な準備が必要になる。たとえば、インフラストラクチャのさまざまな部分がこのモデルを使って生きたデータを処理しなければならない場合には、モデルをウェブサービスでラップすることになるだろう。そうすれば、2章で説明したように、インフラの任意の部分が簡単なREST API呼び出し（またはほかのプロトコル）を使っていつでもモデルに問い合わせをすることができる。しかし、時間がたつうちに、新しいデータでモデルを訓練し直し、更新後のバージョンを本番環境に送り込まなければならなくなるかもしれない。モデルのバージョン管理、モデルの穏やかな移行、前のバージョンのモデルへのロールバック（問題が起きたときの備えとして）、複数のモデルの同時実行（たとえばA/Bテスト†1のために）も必要になる。製品が成功を収めると、サービスの1秒あたりのクエリ数（QPS）は激増する事があり、その場合にはスケールアップして大きな負荷に対処できるようにしなければならない。サービスのスケールアップのためのソリューションとしては、この章で説明するTF Servingというすばらしいものがある。TF Servingは独自ハードウェアインフラストラクチャ上でも、Google Cloud AI Platformのようなクラウドサービスを介してでも利用できる。クラウドプラットフォームを使えば、強力なモニタリングツールなどの多くの補助機能も手に入る。 ...