入門 PySpark ―PythonとJupyterで活用するSpark 2エコシステム

78

5

章 

MLlib

●

ユーティリティー 記述統計などの統計的手法、カイ二乗検定、線形代数（疎および密な行列と

ベ ク ト ル ）、 モ デ ル 評 価 の メ ソ ッ ド

これらからわかるとおり、利用可能な機能から必要なものを選択するだけで、基本的なデータサイエ

ンスのほとんどあらゆるタスクが実行できます。

本章では、線形回帰とランダムフォレストという 2つのクラシフィケーションモデルを構築します。

利 用 す る デ ー タ は 、米 国 に お け る 2014 年と2015 年の出生データの一部で、これはhttp://www.cdc.gov/

nchs/data_access/vitalstatsonline.htmからダウンロードできます。ここでは合計 300 ある変数から 85 の

特徴を選択してモデルを構築します。また、合計で約799 万のレコードから均衡の取れたサンプルと

して45,429レコードを抽出しました。死亡したと報告された幼児の例が 22,080レコードで、生存例が

23,349レコードです。

本章で使用するデータセットは

http://www.tomdrabas.com/data/LearningPySpark/births_

train.csv.gz

からダウンロードできます。

5.2

　

データのロードと変換

MLlibはRDDとDStreamに 焦 点 を お い て 設 計 さ れ て い ま す が 、変 換 を 容 易 に す る た め 、読 み 込 ん