戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

101

101

4.2　数学的関数を使った回帰

ングデータにフィットするかを測るための関数）が決定境界の間違った側にトレーニング

データを配置してしまう場合には、そのトレーニングデータに関してペナルティを与えま

す。データをすべて直線で分割できる場合にはペナルティを課す必要はなく、単にマージン

を最大化させるようにすればいいだけです。もしデータを直線で分割できないのであれば、

マージンの幅の広さとペナルティの合計値の大きさ（小さい方が良い）を比べて、両者が適

度にバランスするときに最もデータにフィットしていることにします。間違って分類された

ときのペナルティは、決定境界からの距離に比例させます。これがうまくできれば、サポー

トベクターマシンは少しの誤差しか発生させません。このときの誤差関数はヒンジ損失とし

て知られています（囲み記事「損失関数」と図

4-9

参照）。

4.2

 数学関数を使った回帰

前の章では、基本的な考え方として、情報価値の高い変数を選ぶという考え方を紹介しま

した。そして、この考え方を分類や回帰やクラス確率推定に使うことができることも示しま

した。この章でも同じように、この章における基本的な考え方である、線形関数をデータに

フィットさせるという方法を、分類や回帰やクラス確率推定に使いましょう。まずは回帰の

図

4-9

 

2

つの損失関数。

x

軸は決定境界からの距離を示している。

y

軸はプラスのインスタンスに

よって発生した損失を表しており、これは決定境界からの距離の関数である。もし、プラス

のインスタンスがプラス側に配置された場合には、 ...