スパーク定義ガイド

第25章 前処理と特徴工学 前処理とフィーチャーエンジニアリング

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

データサイエンティストであれば誰でも、高度なアナリティクスにおける最大の課題（そして時間の浪費）の一つが前処理であることを知っている。特に複雑なプログラミングというわけではなく、扱うデータに関する深い知識と、そのデータをうまく活用するためにモデルに何が必要かを理解することが必要なのだ。この章では、Sparkを使ってどのように前処理とフィーチャーエンジニアリングを行うことができるかを詳しく説明する。MLlibモデルを学習するために必要なコア要件について、データ構造の観点から説明する。そして、このような作業を行うためにSparkが提供する様々なツールについて説明する。

ユースケースに応じてモデルを形式化する

Sparkの様々な高度分析ツールのためにデータを前処理するには、最終的な目的を考慮する必要がある。以下のリストでは、MLlib の各先進分析タスクの入力データ構造の要件を説明する：

• ほとんどの分類や回帰アルゴリズムの場合、ラベルを表すDouble 型の列と、特徴を表すVector 型の列（密または疎）にデータを入れたい。

• レコメンデーションの場合、データをユーザの列、アイテム（映画や本など）の列、評価の列に分けたい。

• 教師なし学習の場合、特徴を表現するためにVector （密または疎）型の列が必要となる。

• グラフ分析の場合、頂点のDataFrameと辺のDataFrameが必要になる。

これらの形式でデータを取得する最良の方法は、トランスフォーマーを使うことである。トランスフォーマーとは、DataFrameを引数として受け取り、新しいDataFrameをレスポンスとして返す関数のことである。この章では、ありとあらゆるトランスフォーマーを列挙するのではなく、特定のユースケースに関連するトランスフォーマーに焦点を当てる。

注

Spark は、org.apache.spark.ml.feature パッケージの一部として、多くの変換器を提供している。Pythonの対応するパッケージはpyspark.ml.feature である。Spark MLlib には常に新しいトランスフォーマーが追加されているため、本書で定義することは不可能である。最新の情報はSparkのドキュメントサイトで発見できる。

先に進む前に、いくつかの異なるサンプルデータセットを読み込む。それぞれのデータセットには、この章で操作する異なるプロパティがある：

// in Scala
val sales = spark.read.format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("/data/retail-data/by-day/*.csv")
  .coalesce(5)
  .where("Description IS NOT NULL")
val fakeIntDF = spark.read.parquet("/data/simple-ml-integers")
var simpleDF = spark.read.json("/data/simple-ml")
val scaleDF = spark.read.parquet("/data/simple-ml-scaling" ...