Sparkによるデータアルゴリズム

序文

10年前にApache Sparkプロジェクトを立ち上げたとき、私の主な目標のひとつは、幅広いユーザが並列アルゴリズムを簡単に実装できるようにすることだった。大規模データに作用する新しいアルゴリズムは、コンピューティングのあらゆる分野に多大な影響を及ぼしており、私は、開発者が分散システムをゼロから構築することなく、そのようなアルゴリズムを実装し、その性能を推論する手助けをしたいと考えた。

そのため、Sparkを使ったデータアルゴリズムに関するマフムード・パーシアン博士の新刊を目にするのを非常に楽しみにしている。Parsian博士は、イルミナのビッグデータ・チームのリーダーとしてバイオインフォマティクスの新しいアルゴリズムを開発するなど、大規模データ並列アルゴリズムに関する広範な研究と実践経験を有している。本書では、Python APIであるPySparkを通じてSparkを紹介し、Sparkの分散コンピューティング・プリミティブを使用して幅広い有用なアルゴリズムを効率的に実装する方法を示す。また、基礎となるSparkエンジンの仕組みや、データのパーティション分割を制御するなどのテクニックによってアルゴリズムを最適化する方法についても解説している。本書は、既存のアルゴリズムをスケーラブルに実装したいと考えている読者にとっても、Sparkを使って新しいカスタムアルゴリズムを開発しようとしている読者にとっても、素晴らしいリソースとなるだろう。

また、パーシアン博士が、可能な限り実際の問題を用いて論じたすべてのアルゴリズムについて、実用的なコード例を載せていることにも感激している。これらは、同様の計算を実装したい読者にとって素晴らしい出発点となるだろう。これらのアルゴリズムを直接利用するにしても、Sparkを使って独自のアルゴリズムを構築するにしても、オープンソースエンジンやその内部構造、そしてコンピューティング全体に大きな影響を及ぼしている最新の並列アルゴリズムの入門書として、本書を楽しんでほしい。

マテイ・ザハリア

スタンフォード大学コンピューターサイエンス助教授

データブリックス、チーフ・テクノロジスト

Apache Sparkの生みの親である。