入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

1.2

 

Spark

のジョブと

API

5

理が高速になっているのです。

同時に、RDDは大まかな変換の機能（

map(...)

、

reduce(...)

、

filter(...)

など）を持って

おり、さまざまな計算を行う際の Hadoopプラットフォームの柔軟性と拡張性を保っています。RDDは

データへの変換の適用と記録を並列に行うので、速度も耐障害性も向上しています。変換を登録して

おくことで、RDDはデータリネージを提供できます。これは、グラフ中のそれぞれの中間ステップを表

す系統木という形になっています。これは、実質的にデータの損失から RDDを保護しています。RDD

の一部のパーティションが失われても、単純にレプリケーションに依存するのではなく、そのパーティ

ションを再生成できるだけの情報が保たれているのです。

データリネージについてさらに詳しく知りたい場合は

http://ibm.co/2ao9B1t.

を調べてみてく

ださい。

RDDには、変換（これは新しい RDD へのポインタを返します）とアクション（これは演算処理を行

い、値をドライバに返します）という2つの並列操作があります。これらについては、このあとの章で

詳しく取り上げます。

変換とアクションの最新のリストについては、

The Spark Programming Guide

（

http://

spark.apache.org/docs/latest/programming-guide.html#rdd-operations

）を参照してくだ

さい。