入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化

2章TensorFlow Extended入門

前章では、機械学習パイプラインを紹介し、パイプラインを構成するコンポーネントについて説明しました。本章では、TensorFlow Extended（TFX）を紹介します。TFXは、機械学習パイプラインを構成するコンポーネントを提供するライブラリです。TFXを使用してパイプラインタスクを定義し、AirflowやKubeflow Pipelinesなどのパイプラインオーケストレータで実行します。図2-1に、パイプラインの構成要素と、パイプラインを構成するのに使われるツールを示します。

図2-1　機械学習パイプラインの構成要素としてのTFX

本章では、TFXのインストール方法と以降の章で必要となる概念や用語を説明します。パイプラインを構成する各コンポーネントの詳細は、本章以降で確認します。本章の後半では、Apache Beam（https://beam.apache.org）を紹介します。Beamは、データ処理ジョブを定義して実行するためのオープンソースソフトウェアです。Beamは、TFXパイプラインにおいて2つの用途があります。1つは、幅広いTFXコンポーネントの裏側で処理を実行するための用途です。この用途では、データの検証や前処理などがBeam上で実行されます。もう1つは、「1章 イントロダクション」で説明したような、パイプラインオーケストレータとしての用途です。Beamは、TFXコンポーネントの理解に役立つため、本章で紹介しておきます。TFXコンポーネントの理解は、「 ...