実践 機械学習システム

214

11

章 次元削減

いて見ていくことにしましょう。

11.1

　本章のロードマップ

次元削減はおおまかに、特徴選択（feature selection）と特徴抽出（feature extraction）に分類でき

ます。これまでほとんど全ての章で、特徴選択なるものを用いています。特徴量について考案し、分

析を行い、それからある特徴量については「使わない」という判断をしました。本章では、統計手法を

用いる方法、たとえば相関（correlation）や相互情報量（mutual information）といった手法を用い

て、広大な特徴空間から特徴選択が行えることを示します。特徴抽出が行うことは、元の特徴空間を

より小さい次元の特徴空間に変換することです。これは、学習器にとって特徴量の次元が大きすぎ

て、なおかつ、特徴選択手法で特徴量をこれ以上削減出来ない場合に特に有効な手法です。特徴抽出

の有効性を示すために、主成分分析（principal component analysis：PCA）、線形判別分析（linear

discriminant analysis：LDA）、多次元尺度構成法（multidimensional scaling：MDS）を紹介したいと

思います。

11.2

　特徴選択

もし機械学習アルゴリズムに対して“優しく”したいと思うならば、互いに独立した特徴量を用い

て、予測したい値に対して関連性の高い特徴量を用いるようにします。そのようにすれば、各特徴量

はそれぞれ重要な情報を付け加えること