初めてのSpark

ix



並列データ分析が一般的になるにつれて、多くの分野での実践者が、このタスクのための使いや

すいツールを探しました。もっとも広く使われるものの

1

つに急速に成長した

Apache Spark

は、

MapReduce

を拡張し、汎用化しました。

Spark

が提供するメリットは、主に

3

つです。

1

つめ

は、使いやすさです。アプリケーションの開発は、高レベルの

API

を使ってノート

PC

で行えま

す。

2

つめは高速性です。

Spark

はインタラクティブな利用や、複雑なアルゴリズムの実行が可能

です。

3

つめは、

Spark

が汎用的なエンジンであることです。

Spark

を使えば、複数の種類の演算

処理（例えば

SQL

のクエリとテキスト処理、そして機械学習）を組み合わせることができます。

これまでは、こうしたことを実現するためには、複数のエンジンを組み合わせざるを得ないことが

ありました。こうした特長によって、

Spark

はビッグデータについて幅広く学ぶ上で、すばらしい

出発点になっているのです。

本書は入門書であり、読者のみなさまが

Spark

をすぐに立ち上げて実行できることを目指して

います。自分のノート

PC

に

Spark

をダウンロードして実行し、インタラクティブに使って

API

を学びます。それに続いて、利用できるオペレーションと分散実行の詳細を見ていきます。最後

に、機械学習、ストリーム処理、

SQL

を含む、

Spark

に組みこまれた高レベルのライブラリのツ

アーを行います。本書によって、利用するマシンが

1

台であれ、数

100

台であれ、データ分析の ...