実践 機械学習システム

224

11

章 次元削減

表11-2

結果はとても安定していることがわかります。保持する特徴量の数を多くすると、それまで保持して

いた特徴量は保たれたままです。最終的には、訓練データ・テストデータに分割し、間違った方向に進

んでいないか確認します。

11.3

　他の特徴選択手法

特徴選択手法は他にもあります。機械学習に関する文献を読むと、いくつか発見するかもしれませ

ん。また、その中には特徴選択手法には見えないものもありますが、その理由は、学習プロセスに組

み込まれているからです（先ほどのラッパー法と混合しないでください）。たとえば、決定木という手

法は、処理のコアとなる部分で特徴選択が密かに行われています。また、他の特徴選択手法では、過

学習に対して罰則を課すために正規化を用います。それによって、学習プロセスは性能の高いモデル

へと駆動させつつ、それでいてシンプルな構造を保ちます。それらの手法が行うことは、影響力の低

い特徴量についてその重要度（重み

）を0に減らすことで、その特徴量を排除します（L1正規化）。

つまり、表面には見えない特徴選択が存在し、機械学習手法の性能にかなりの影響を及ぼします。