初めてのSpark

27

3.3　RDD の操作

3.3



RDD

の

すでに議論した通り、

RDD

はとという

2

つの操作をサポートしています。変換

は、

RDD

から新しい

RDD

を生成して返す操作で、

map()

や

filter()

などがそうです。アクショ

ンは、結果をドライバプログラムに返したり、結果をストレージに書き出したりするもので、演

算を開始させます。例えば

count()

や

first()

がアクションです。

Spark

は、変換とアクションを

まったく異なる方法で扱うので、実行しようとする操作がどちらの種類なのかを理解することが大

切です。ある関数が変換なのかアクションなのか混乱したことがあるなら、返される型を見てみて

ください。変換は

RDD

を返しますが、アクションはそれ以外のデータ型を返します。

3.3.1



RDD

に対して変換操作をすると、新しい

RDD

が返されます。「

3.3.3

遅延評価」で議論します

が、変換された

RDD

の演算は遅延させられ、それらをアクションで使用する時点で初めて実行さ

れます。多くの変換は、で行われます。これはすなわち、

1

度に

1

つの要素に対して作用

するからですが、必ずしもすべての変換がそうであるとは限りません。

例として、多くのメッセージを含むログファイルの

log.txt

があるとしましょう。そして、こ

の中からエラーメッセージだけを選び出したいものとします。すでに見た、

filter()

変換を使う

ことができますが、ここでは

Spark

のすべての言語の

API

でフィルタを紹介しましょう（ ...