戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

131

131

5.5　* 例：オーバーフィッティングはなぜいけないのか

よりぴったりフィットする曲面を生成できるようになります。曲面が必要なケースでは、こ

うした自由度が求められるかもしれませんが、それに伴ってオーバーフィッティングする可

能性も飛躍的に高まります。一方

SVM

では、たとえ境界が曲線になっても、異なるクラス

を正しく完全に分離するモデルではなく、境界付近に大きい余白を持つモデルの方が学習の

過程で選ばれる、ということに注意してください。

5.5

 

*

例：オーバーフィッティングはなぜいけないのか

この章の最初で、丸暗記するだけのモデルは常にオーバーフィットしてしまい、汎

化できないので使えない、と述べました。しかしこれは厳密には、モデルがある程

度以上に複雑になると、オーバーフィッティングのせいでモデルの性能を上げづら

くなる、ということを示しているにすぎません。図 5-3 に示したような、オーバー

フィッティングがモデルの性能を下げてしまう理由は説明していないのです。この

節では詳しい事例をもとに、こうした現象がなぜ、どのように起きるかを説明しま

す。本題とは直接関係しない節なので飛ばしていただいても構いません。

複雑なモデルで、性能が下がってしまうのはなぜでしょうか。端的に言えば、モデルが複

雑になるにつれて、不要な擬似相関をどんどん拾ってしまうようになるからです。こういっ

図

5-7

 図

5-6

の

Iris

データセットにブルーフラッグのサンプルを追加したもの（星印）。この図では、

ロジスティック回帰およびサポートベクターマシンの両方に（がくの幅） ...