初めてのSpark

42

3 章　RDD を使ったプログラミング

へのレコードの挿入があります。どちらの場合でも、

foreach()

アクションを使えば、

RDD

中の

各要素に対して演算処理を行い、ローカルには何も返さずに済みます。

まだ説明していない、基本的な

RDD

に対する標準的な操作は、ほぼ名前から想像できる通りの

動作をします。

count()

は要素数を返し、

countByValue()

は、ユニークな値とそのカウントのマッ

プを返します。

3-4

は、これまでに取り上げていないものも含めて、アクションをまとめたも

のです。



3-4



{1, 2, 3, 3}



RDD



   

collect()

RDD

のすべての要素を返す

rdd.collect() {1, 2, 3, 3}

count()

RDD

の要素数を返す。

rdd.count() 4

countByValue()

RDD

の各要素の出現回数を返す。

rdd.coiuntByValue() {(1, 1),

(2, 1),

(3, 2)}

take(num)

RDD

から

num

個の要素を返す。

rdd.take(2) {1, 2}

top(num)

RDD

の先頭の

num

個の要素を返す。

rdd.top(2) {3, 3}

takeOrdered

(num)(ordering)

指定された順序に基づいて

num

個の

要素を返す。

rdd.takeOrdered(2)

(myOrdering)

{3, 3}

takeSample

(with

Replace ment, ...