入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

4.2

 データに馴染む

69

desc.show()

show()

メソッドの出力は次のようになります。

比較的少数のこれらの数値からだけでも、かなりのことがわかります。

●

すべての列の歪

わい

度

ど

は正になっています。最大値は平均値の数倍以上になっています。

●

変動係数（標準偏差を算術平均で割った値）はきわめて高くなっています（

1

に近いかそれ以上）。

これは、データが広く分散していることを示します。

歪 度（

skeweness

）の 確 認 は 次 の よ う に 行 い ま す（ こ こ で は

'balance'

列だけを対象にしています）。

fraud_df.agg({'balance': 'skewness'}).show()

このコードの出力は次のようになります。

集計関数には、

avg()

、

count()

、

countDistinct()

、

first()

、

kurtosis()

、

max()

、

mean()

、

min()

、

skewness()

、

stddev()

、

stddev_pop()

、

stddev_samp()

、

sum()

、

sumDistinct()

、

var_pop()

、

var_samp()

、

variance()

といったものがあります（名前を見れ

ば何をするものかは自明でしょう）。

4.2.2

　

相関

列同士の相互関係の測定するのにきわめて役立つもう1つの値が相関です。通常モデルには、ター

ゲットとの相関が強い列だけが含まれることになります。とはいえ、列同士の相関を確認することもほ