初めてのSpark

51

4.3　ペア RDD の変換



4-1



ペア

RDD

の値の部分にだけアクセスしたい場合、ペアを扱うのが面倒になることがあります。

これは一般的なパターンなので、

Spark

では

mapValues(func)

関数が用意されています。これは、

map{case (x, y): (x, func(y))}

と等価です。この関数は、サンプルに繰り返し出てくることに

なります。

さあ、それではペア

RDD

の関数のファミリをそれぞれ見ていくことにしましょう。最初は集計

です。

4.3.1

計

データセットがキー／値ペアで表現されている場合、同じキーを持つすべての要素を集計し、統

計を取りたいことがよくあります。基本の

RDD

に対する

fold()

、

combine()

、

reduce()

といった

アクションはすでに見ましたが、ペア

RDD

には、これらに似た、キーを単位とする変換が用意さ

れています。同様に、

Spark

には同じキーを持つ値を組み合わせる一連の操作もあります。これら

の操作は

RDD

を返すものであり、アクションではなく変換です。

reduceByKey()

は、

reduce()

とよく似ています。どちらも関数を

1

つ取り、それを使って値を

結合するのです。

reduceByKey()

は、データセット中のキーごとの

reduce

操作を並列に行いま

す。それそれの操作では、同じキーを持つ値が結合されます。データセットにはきわめて大量の

キーが含まれていることがあり得るので、

reduceByKey()

はユーザーのプログラムに値を返すアク ...