
次元削減
213
11
章
次元削減
「Garbage in, garbage out.」という言葉があります。これは「ガラクタを入れれば、ガラクタを手に
する」という意味の教訓です。この教訓は、訓練データを機械学習手法に適用する場合にも当てはまり
ます。これまでやってきたことを振り返って考えてみると、機械学習で毎回問題となること、そして最
も興味深いことは特徴エンジニアリングに関連することでした。私たちは問題の本質を見抜こうと努
め、学習器が感知できる特別な特徴量を注意深く設計しました。
本章では、これまでやってきたこととは逆の方向に進みます。本章で学ぶことは、無関係な特徴量
や冗長な特徴量を削除することである次元削減(dimensionality reduction)についてです。「特徴量を
削減する」と聞くと、情報は多いほうが少ないよりは良いので、最初は直感に反するかもしれません。
実際のところ、必要のない特徴量であっても、それを無視すべきではないのでしょうか? たとえ
ば
、機械学習アルゴリズムの内部で、不必要な特徴量の重みを0にすることができるので、特徴量は
多ければ多いほど良いのではないでしょうか? それに対する答えは「ノー」です。次元を可能な限り
減らしたほうが良い理由としては、次の点が挙げられます。
●
冗長な特徴量は“イライラさせる”ものであり、学習器を混乱させる可能性があります。これ
は全ての機械学習手法について当てはまるということではありません(たとえば、サポートベク
ターマシンは高次元空間で ...