入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

4.3

 可視化

75

4.3.2

　

特徴間の関係

散布グラフを使うと、最大で 3 つの変数間の関係を一度に可視化できます（ただしこのセクションで

示すのは 2Dの 関 係 だ け で す ）。

時系列データを扱い、時間の経過に伴う変化を観察したい場合を除けば、

3D

で可視化するこ

とは滅多にないでしょう。時系列データを扱う場合でも、筆者なら時系列データを区分けして、

一連の

2D

グラフとして見せるでしょう。

3D

のグラフは複雑なものであり、（多くの場合）混

乱を招きます。

PySparkはサーバーサイドに可視化のためのモジュールを持っていないので、数十億のデータを一度

にプロットしようとするのはまったく現実的ではありません。このセクションでは、データセットを 0.02%

にサンプリングします（データ数はおよそ 2,000に な り ま す ）。

層化サンプリングを行わないかぎり、事前に決めたサンプリングの比率の下で少なくとも

3

回

から

5

回のサンプリングを行い、そのサンプルがデータセットをうまく表現できていること、

すなわちサンプリング間で大きな差が生じていないことを確認してください。

この例では、

'gender'

列を層として不正利用のデータセットを0.02% でサンプリングします。

data_sample = fraud_df.sampleBy(

'gender', {1: 0.0002, 2: 0.0002}

).select(numerical)

次のコードで、複数の 2Dグラフを一度に生成できます。

data_multi ...