入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

28

2

章 耐障害性分散データセット

rdd5 = rdd1.intersection(rdd2)

rdd5.collect()

結果は次のようになります。

2.4.7

　

.repartition(...)

変換

データセットのパーティション分割をやり直すと、データセットのパーティション数が変わります。こ

の機能はデータをシャッフルするために負荷が高く、パフォーマンス面での影響が大きいので、本当に

必要な場合にだけ慎重に使うようにしてください。

rdd1 = rdd1.repartition(4)

len(rdd1.glom().collect())

上のコードは、新しいパーティション数である

4

を出力します。

.collect()

メソッドと異なり、

.glom()

メソッドは特定のパーティション中にあるデータセットの

すべての要素のリストを要素とするリストを生成します。返されるメインのリスト持つ要素数は、パー

ティション数に等しくなります。

2.5

　

アクション

変換とは対照的に、アクションはデータセットに対してスケジューリングされたタスクを実行します。

データに対する変換の設定が終われば、処理を実行できます。この処理には、変換が含まれないことも

ありますが（たとえば RDD に変換を行わずに

.take(n)

を実行すれば、単にその RDD から

n

レコード

が返されるだけです）、変換が設定されていればその連鎖全体が実行されます。

2.5.1

　

.take(...)

メ ソ ッド

.take(...)

メ ソ ッ ド は 、間 ...