入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

9.4

 データの処理

189

上の構文はpandasのDataFrame でも同じです。Pythonやpandas のAPIに不慣れなのであれば、

3つだけ注意しておいてください。

1. 複 数 の 列 を 指 定 し た い 場 合 に は 、そ れ ら を も う 1つリストで囲っておいてください。上のコードで

は2重のカッコ

[[

と

]]

になっています。

2. メソッドのチェーンが一行に収まらない場合（あるいは読みやすいようにチェーンを分割したい

場合）には、2つの方法があります。1 つはメソッドのチェーン全体をカッコ

(...)

で囲う方法

で、

...

の部分にすべてのメソッドのチェーンを入れます。もう1つの方法は、改行を入れる前に

各行の末尾にバックスラッシュ

\

を置く方法です。筆者は後者のやり方が好みで、本書のこのあ

とのサンプルでもこちらの方法を採ります。

3. 等価な SQL のコードは次のようなものになるでしょう。

SELECT *

FROM traffic

LIMIT 2

9.4.2

　

シンボリック変換

Blazeの美点は、シンボルでの処理ができることにあります。これはすなわち、データに対する変換や

フィルタリング、あるいはその他の操作を指定してオブジェクトとして保存できるということです。そ

してそういったオブジェクトに対して元々のスキーマにしたがっているデータを与えてやれば、Blaze

は、ほぼあらゆる形態のデータを変換し、データを返してくれます。

例として、2013 年に起きた交通違反をすべて選