実践 機械学習システム

11.4

 特徴抽出

225

その点は注意する必要があります！

11.4

　特徴抽出

冗長な特徴量を取り除き、無用な特徴量を削除した後でも、依然として特徴量が多すぎるというこ

とがよくあります。どのような学習手法を用いても性能が芳しくない場合、原因のひとつに、特徴空間

が大きすぎることが考えられます。そのため、さらに贅肉を削ぎ落とさなければなりません。つまり、

これまでの手法が保持すべきと判断してきた特徴量を削除しなければならない、ということです。ま

た、他の例として、データを可視化したいときがあります。そのような場合、意味のあるグラフを作成

するために、最終的に多くても3 次元のデータにする必要があります。そのような場合も、次元を削減

する必要がありますが、特徴選択がそれほど役に立たないということがよくあります。

以上のようなケースでは、特徴抽出手法を使うのが良いでしょう。特徴抽出手法は、モデルにとっ

てさらに都合の良い

ように特徴空間を再構成します。また、次元を2次元または3 次元に削減すること

で、視覚的にその関連性を見ることができます。

特徴抽出も線形か非線形かで区別することができます。特徴選択の節で見てきたように、ここでも

線形・非線形に対して一つずつ手法を紹介することにします。線形な手法は主成分分析（principal

component analysis：PCA）を、非線形な手法は多次元尺度構成法（multi dimensional scaling：

MDS）を紹介します。それらの手法は有名であり