データサイエンス設計マニュアル

11.4 サポートベクターマシン 335

図 11 -7 部品

の分類器は誤分類をしているが（赤で表示）、最終的な分類器はすべての点を正しく分類する

重み付きのアンサンブルになっている

うに、判定が難しい問題はその後の分析に役立たない手続きを作ってしまう。これはブースティングに対す

る疑問として重要な議論だ。ブースティングは一般に高い性能を発揮するが、オーバーフィッティングから

逃れられないように思われる。

訓練データが完璧とは言えないときに、オーバーフィッティングの危険は特に重大となる。人間によるク

ラスのラベル付けは主観的で不統一になる傾向があり、ブースティングはシグナルを犠牲にしてノイズを増

幅してしまう危険がある。最良のブースティングアルゴリズムは、正則化によってオーバーフィッティング

に対処する。0 でない係数を減らし、アンサンブルの中の特定の分類器を重視しすぎる大きな係数を避ける

ことが目標だ。

今後の課題

ブー

スティングは、弱い分類器を効果的に活用できるが、訓練データの一部のラベル付けが正し

くないと、想定外の動作をすることがある。

11.4 サポートベクターマシン

サポートベクターマシン（SVM）は、非線形分類器を作成する非常に重要な手法である。SVM は、2 種

類のラベルを持つ点の集合を最もうまく分割する直線や平面 l を探すロジスティック回帰に近い。ロジス

ティック回帰は与えられた点 q がこの l という線の上にあるか下にあるかによってクラス q にラベルを付け

る。さらに、ロジスティック回帰は、ロジ ...