September 2021
Intermediate to advanced
392 pages
6h 8m
Japanese
「11章 パイプライン Part 1: Apache BeamとApache Airflow」では、Apache BeamとApache Airflowを使ったパイプラインのオーケストレーションについて説明しました。この2つのオーケストレーションツールには、大きな利点があります。Apache Beamはセットアップが簡単で、Apache AirflowはさまざまなETLタスクに広く採用されている点です。
本章では、Kubeflow Pipelinesを使ったパイプラインのオーケストレーションについて説明します。Kubeflow Pipelinesを使うと、Kubernetesクラスタ内で機械学習タスクを実行でき、スケールしやすいパイプラインソリューションを構築できます。「11章 パイプライン Part 1: Apache BeamとApache Airflow」で説明し、図12-1でも示すように、オーケストレーションツールはパイプラインコンポーネント間の調整をしてくれます。
図12-1 パイプラインオーケストレータ
Kubeflow Pipelinesのセットアップは、Apache AirflowやApache Beamのインストールよりも複雑です。しかし、本章で後述するように、Pipeline Lineage Browser、TensorBoardとの統合、TFDVやTFMAでの可視化機能など、素晴らしい機能を備えています。さらに、Kubernetesの利点であるポッドの ...
Read now
Unlock full access