
vii
訳者まえがき
Learning PySparkの全訳をお送りします。
Sparkはすっかり分散処理のフレームワークとして定着した感がありますが、一方で訳者としては 2つ
の懸念を感じていました。1つは Spark 2.x で登場した多彩な新機能やライブラリを紹介する日本語の
情報がなかったこと、そしてもう 1つは Spark 1.x のころに PySparkは遅い、という評価がかなり定着
してしまっていたことです。
Spark 2.xは1.x の頃とは大きく変化しており、PySpark も(使い方に注意は必要なものの)Scalaや
Java からSparkを使う場合と同様のパフォーマンスを発揮できるようになりました。
そしていずれも中核にあるのはDataFrame APIです。本書ではDataFrameベースのさまざまな
Spark のライブラリが紹介されています。それぞれの紹介自体は短いですが、PythonとSparkを組み
合わせてどのように使うことができるのか、大きく把握するのに役立つことと思います。それぞれのト
ピックには英語の情報へのリンクが数多く紹介されていますが、本書で大まかなイメージをつかんでい
ただければ、英語で書かれた詳細な情報へも取り組みやすくなると思います。本格的にSpark のような
フレームワークに取り組むなら英語の情報を見ることは避けて通れませんが、本書がそのためのガイド
ブックの役割を果たしてくれれば、訳者としては大変うれしいです。
Spark のいいところの