Pythonではじめる教師なし学習 ―機械学習の可能性を広げるラベルなしデータの利用

72

3

章 次元削減

3.2

 次元削減アルゴリズム

MNIST

数字データセットのロードと調査ができたので、次元削減アルゴリズムに話を進めよう。そ

れぞれのアルゴリズムに対して、まず概要を説明し、次により深く理解できるように

MNIST

数字デー

タセットに対してそのアルゴリズムを適用する。

3.2.1

 線形射影

vs.

多様体学習

次元削減は

2

つに大別できる。

1

つは線形射影（

linear projection

）と呼ばれるもので、高次元空間か

ら低次元空間に対して線形に射影を行う。主成分分析、特異値分解、ランダム射影は、線形射影に含

まれる。

もう一方は多様体学習（

manifold learning

）と 呼 ば れ る も の で 、 非線形次元削減とも呼ばれる。この

一例が Isomapで、データポイント間の距離としてユークリッド距離ではない曲線距離（測地線距離と

も言う）を学習する。他の手法としては多次元尺度構成法、局所線形埋め込み、t-SNE、辞書学習、ラ

ンダムツリー埋め込み、独立成分分析がある。

3.3

 

PCA

（主成分分析）

ここでは、標準的な

PCA

、イン クリメンタル

PCA

、スパ ース

PCA

、カー ネ ル

PCA

の

3

つを紹介する。

3.3.1

 

PCA

の概要

まずは標準的な

PCA

からはじめよう。これは最も一般的に用いられる線形次元削減手法の

1

つだ。

PCA

は、可能な限りデータのばらつき（すなわち重要な情報）を維持できる低次元表現を見つける。

PCA

は、特徴量間の相関を用いてこれを実現する。特徴量の部分集合内の相関が ...