入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化

12章パイプライン Part 2: Kubeflow Pipelines

「11章 パイプライン Part 1: Apache BeamとApache Airflow」では、Apache BeamとApache Airflowを使ったパイプラインのオーケストレーションについて説明しました。この2つのオーケストレーションツールには、大きな利点があります。Apache Beamはセットアップが簡単で、Apache AirflowはさまざまなETLタスクに広く採用されている点です。

本章では、Kubeflow Pipelinesを使ったパイプラインのオーケストレーションについて説明します。Kubeflow Pipelinesを使うと、Kubernetesクラスタ内で機械学習タスクを実行でき、スケールしやすいパイプラインソリューションを構築できます。「11章 パイプライン Part 1: Apache BeamとApache Airflow」で説明し、図12-1でも示すように、オーケストレーションツールはパイプラインコンポーネント間の調整をしてくれます。

図12-1　パイプラインオーケストレータ

Kubeflow Pipelinesのセットアップは、Apache AirflowやApache Beamのインストールよりも複雑です。しかし、本章で後述するように、Pipeline Lineage Browser、TensorBoardとの統合、TFDVやTFMAでの可視化機能など、素晴らしい機能を備えています。さらに、Kubernetesの利点であるポッドの ...