入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

84

5

章 

MLlib

喫煙を止めていることです。しかし喫煙を続けている母親もいるのは恐ろしいことです。

カテゴリ型の変数については、それらの値の出現回数を計算しましょう。

categorical_cols = [e for e in births_transformed.columns

if e not in numeric_cols]

categorical_rdd = births_transformed\

.select(categorical_cols)\

.rdd \

.map(lambda row: [e for e in row])

for i, col in enumerate(categorical_cols):

agg = categorical_rdd \

.groupBy(lambda row: row[i]) \

.map(lambda row: (row[0], len(row[1])))

print(col, sorted(agg.collect(),

key=lambda el: el[1],

reverse=True))

結果は次のようになります。

ほとんどの出産は病院で行われています（

BIRTH_PLACE

が

1

の 場 合 ）。 550 件ほどの出産が家で行

われています。その中には意図的なケース（

BIRTH_PLACE

が

3

）もあれば、意図的ではないケース

（

BIRTH_PLACE

が

4

）もあります。

5.3.2

　

相関

相関は、共線関係を持つ数値の特徴を見つけ出 ...