データサイエンス設計マニュアル

8.5 固有値分解 239

図 8 -15 5 個（

左）、50 個（中央）の特異値で再構築されたリンカーンの顔写真と k = 50 のときの誤差

（右）

と同じくらいに見えるが、図 8 -15（右）に示す誤差のプロットを見ると、細部が描写されていないことが

わかる。

今後の課題

特異値

分解（Singular Value Decomposition：SVD）は、特徴行列の次元を削減できる強力な技法

である。

8.5.2 主成分分析

主成分分析（Principal components analysis：PCA）は、データセットの次元削減と密接な関係がある。

PCA は、SVD と同様にデータセットを表現するためにベクトルを定義し、SVD と同様にそれらのベクトル

を重要度の高いものから並べて少数のベクトルから近似表現を再構築することができる。PCA と SVD は、

我々の目的では区別できないくらい密接な関係を持っている。両者は基本的に同じである。

主成分分析では、点の集合に最もうまく当てはまる楕円の軸を定義する。2 本の軸が交わる原点が点の集

合の重心（centroid）になる。PCA は、点の集合を射影したときに、分散が最も大きくなる向きを明らかに

するところからスタートする。これは重心を通る線で、ある意味では点の集合に最も当てはまる線である。

このように、PCA には線形回帰と似たところがある。次に、この線に個々の点を射影すると、交点はこの

線上での重心との相対距離を定義するものになる。そして、図 8