入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

18

2

章 耐障害性分散データセット

しょう。

1. ある列中に現れるそれぞれの値の登場回数をカウントする

2.

A

で始まる値だけを選択する

3. その結果を画面に表示させる

この手順は単純なように思えますが、

A

で始まるアイテムだけを対象とするのであれば、他のすべて

のアイテムについてカウントするのは無駄なことです。したがって、上のような手順を実行する代わり

に、Spark に

A

で始まるアイテムだけをカウントさせ、結果を画面に表示させることができるでしょう。

それではこの例をコードに落とし込んでみましょう。まず、Sparkに対して

A

の値を

.map(lambda

v: (v, 1))

というメソッドを使って mapし 、続 い て

'A'

で始めるレコードだけを選択します（これに

は

.filter(lambda val: val.startswith('A'))

を 使 い ま す ）。

.reduceByKey(operator.

add)

を呼べば、このデータセットに対して reduceを行い、キーごとに登場回数を加算（この例ではカ

ウント）します。データセットに対するこれらのステップは、すべて変換になります。

次に、

.collect()

を呼んでこれらのステップを実行させます。これはデータセットに対するアク

ションであり、最終的にデータセット中の異なる要素のカウントを行うことになります。実際には、この

アクションは変換の順序を反転させ、mapの前にデータのフィルタリングを行うので、reducerに渡さ

れる