入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

100

6

章 

ML

パッケージ

●

LDA

：このモデルは、自然言語処理のアプリケーションにおけるトピックモデリングに使われます。

PySparkのMLにはレコメンデーションのためのモデルも1 つ用意されていますが、それについては

ここでは説明しません。

6.1.3

　

パイプライン

PySparkのMLにおける

Pipeline

は、変換から推定に至るエンドツーエンドの（複数のステージ

を持つ）プロセスを指す概念で、生のデータを（DataFrameとして）取り込み、必要なデータの操作

（変換）を行い、最終的に統計モデル（estimator）での推定を行います。

Pipeline

は純粋に変換だけで構成されることもあります。この場合は、

Transformer

だ

けが含まれることになります。

Pipeline

は、独立した複数のステージの連鎖と考えられます。

Pipeline

オブジェクトの

.fit(...)

メソッド が 実 行され ると、

stages

パラメータで指定された順序にしたがってすべてのステージが実行さ

れます。

stages

パラメータは

Transformer

オブジェクトと

Estimator

オブジェクトのリストで す。

Pipeline

オブジェクトの

.fit(...)

メソッドは

Transformer

オブジェクトの

.tr an sform(...)

メ

ソッドと、

Estimator

オブジェクトの

.fit(...)

メソッドを実行します。

通常は、前段のステージの出力が後段のステージへの入力になります。

Transfo ...