初めてのSpark

57

4.3　ペア RDD の変換

Iterable[V]]

という型の

RDD

が返されます。

groupBy()

は、ペアになっていないデータや、現在のキーに対して等価判定以外の条件を使いた

い場合に使われます。

groupBy()

は、ソース

RDD

の各要素に対して適用される関数を取り、その

結果でキーを決定します。

groupByKey()

の後に、値に対して

reduce()

や

fold()

を使っているコードを書いているなら、キー

単位の集計関数のいずれかを使うことで、同じ結果をおそらくもっと効率よく得ることができ

ます。RDD をインメモリの値に reduce するのではなく、キーごとのデータを reduce し、そ

の値を各キーと対応づけた RDD を返させるのです。例えば、

rdd.reduceByKey(func)

は、

rdd.

groupByKey().mapValues(value => value.reduce(func))

と同じ RDD を生成しますが、各キーに

対する値のリストを生成するステップを省けることから、効率が優れているのです。

単一の

RDD

のデータをグループ化することに加えて、

cogroup()

という関数を使えば、同じ

キーを持つ複数の

RDD

からのデータをグループ化することもできます。

cogroup()

は、同じ型

K

のキーを持つ

2

つの

RDD

がそれぞれ

V

と

W

という型の値を持っている場合、

[K, (Iterable[V],

Iterable[W])]

という型の

RDD

を返します。一方の

RDD ...