実践 機械学習システム

222

11

章 次元削減

一緒に用いることで役に立つことがあります。そのような特徴量を捨てないで保持するためには、ラッ

パー法を用いる必要があります。

11.2.2

　ラッパー法を用いて、特徴量についてモデルに尋ねる

フィルター法は無用な特徴量を除去するためにとても役に立ちますが、できることはそこまでです。

フィルター法を行った後に残る互いに独立した特徴量で、目的変数にある程度の関連性がある特徴量

であったとしても、モデルの視点からは全くの無用な特徴量がまだ残っているかもしれません。たとえ

ば、次の表に示すデータについて考えてみましょう。それは排他的論理和（XOR）を表しています。A

とBを個々に見ると、どちらもYとの関連性はありません。しかし、AとBをまとめて見ることで、Y

との関連性がはっきりとわかります（つまり、そこにはXORという関連性があります）。

表11-1

それでは、モデル自体にどの特徴量が有効であるかを投票させてみてはどうでしょうか。実際、そ

れがラッパー法が行うことです。詳細は図11-7のフローチャートのようになります。

図11-7

11.2

 特徴選択

223

ここでは、特徴量の重要度の計算を、モデルの訓練を行う処理に組み込んでいます。残念ながら

（しかし当然のことながら）、特徴量の重要度は、重要