実践 AWSデータサイエンス ―エンドツーエンドのMLOpsパイプライン実装

10章パイプラインとMLOps

　これまでの章では、典型的なMLパイプラインの各ステップを実行する方法を紹介してきました。典型的なMLパイプラインには、データの取り込み、分析、特徴量エンジニアリング、モデルの訓練、チューニング、デプロイなどが含まれます。

　本章では、SageMaker Pipelinesの完全な機械学習オペレーション（MLOps）ソリューションを使用して、すべてを繰り返し可能で自動化されたパイプラインに結び付けます。また、AWS Step Functions、Kubeflow Pipelines、Apache Airflow、MLFlow、TensorFlow Extended（TFX）など、さまざまなパイプラインオーケストレーションのオプションについても説明します。

　続いて、新しいコードがコミットされたとき、新しいデータが到着したとき、または固定のスケジュールでSageMaker Pipelinesを自動化することについて深く掘り下げます。また、データドリフトやモデルバイアスなど、デプロイしたモデルに統計的な変化を検出した場合に、パイプラインを再実行する方法を説明します。また、モデルの精度を向上させるためのHuman-in-the-Loopワークフローの概念についても説明します。

10.1　機械学習オペレーション

　モデル開発のライフサイクル全体では、図10-1に示すように、モデルを本番稼働させるために、アプリケーションチーム、データサイエンスチーム、DevOpsチームの緊密な連携が必要となります。

図10-1　機械学習アプリケーションの本番稼働にはチーム間のコラボレーションが必要

　一般的には、データサイエンティストが訓練したモデルを提供し、DevOpsエンジニアがモデルをREST ...