入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

1.4

 まとめ

15

1.4

　

まとめ

本章では、Apache Sparkとは何かを振り返り、Spark のジョブと API を簡単に紹介しました。耐障害

性分散データセット（RDD)、DataFrame、Dataset についても紹介しました。RDD やDataFrame に

ついては、今後の章でさらに詳しく見ていきます。また、Spark SQLのエンジンの Catalyst Optimizer

やProject Tungstenによって、DataFrame が高速にクエリを実行できることについても述べました。

最後に、Tungstenフェーズ 2、Structured Streaming、DataFrame とDataset の統合を含む、高いレ

ベルから見た Spark 2.0のアーキテクチャの概要を紹介しました。

次章では、Spark の基盤をなすデータ構造の一つである耐障害性分散データセット（RDD）を 取 り 上

げます。変換やアクションによってスキーマレスのデータ構造である RDDを生成したり変更したりす

る方法を紹介することで、PySpark の旅を始めることにしましょう。

た だ し そ の 前 に 、「 付 録 A Apache Spark のインストール」を読んで、Spark を（まだインストールし

ていなければ）ローカルマシンにインストールしておいてください。