入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

4.3

 可視化

71

どちらのパッケージも Anacondaには含まれています。まずモジュールをロードしてセットアップし

ましょう。

%matplotlib inline

import matplotlib.pyplot as plt

plt.style.use('ggplot')

import bokeh.charts as chrt

from bokeh.io import output_notebook

output_notebook()

%matplotlib inline

と

output_notebook()

はそれぞれ

matplotlib

とBokehに対するも

ので、出力されるグラフが独立したウィンドウではなく、ノートブック内に表示されるようにします。

4.3.1

　

ヒ スト グ ラ ム

ヒストグラムは、データの分布を可視化する最も容易な方法です。PySpark（あるいはJupyter

notebook）でヒストグラムを生成する方法は 3つあります。

●

ワーカーでデータを集計し、集計されたヒストグラムのビンのリストをドライバに返させ、それ

ぞれのビンをカウントする。

●

すべてのデータポイントをドライバに返させ、プロットを行うライブラリのメソッドにあとは任せる。

●

データをサンプリングしてからドライバに返させ、プロットを行う。

データセット中の行数が数十億に及ぶのであれば、2 つめの選択肢には無理があります。したがって、

まずはデータを集計しなければなりません。

hists = fraud_df.select('balance').rdd.flatMap( ...