入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

2.5

 アクション

29

乱数生成器のシードです。

data_take_sampled = data_from_file_conv.takeSample(False, 1, 667)

2.5.2

　

.collect(...)

メ ソ ッド

このメソッドは、RDDのすべての要素をドライバに返します。注意事項はすでに述べたとおりですの

で、ここでは繰り返しません。

2.5.3

　

.reduce(...)

メ ソ ッド

.red uce(...)

メソッドは、指 定され たメソッドを使って RDD の要素に対し reduceの処理を行います。

これはたとえば、RDD の要素の合計値を求めるために使えます。

rdd1.map(lambda row: row[1]).reduce(lambda x, y: x + y)

これで合計値である

15

が返されます。

最初に

.map(...)

変換を使って作成したのは、

rdd1

のすべての値からなるリストです。そしてその

結果を処理するのに

.reduce(...)

メソッドを使っています。

reduce(...)

メソッドは、各パーティ

ションで合計を取るためのメソッド（ここでは

lambda

を使って表現されています )を実行し、最終的

な集計が行われるドライバノードに合計を返しています。

ここでは注意が必要です。

reduce(...)

に渡す関数は結合性と可換性を持っていなければな

りません。すなわち、演算の順序や要素の並び順が代わったとしても結果が変わらないような

関数でなければならないのです。結合 ...