データサイエンス設計マニュアル

11.4 サポートベクターマシン 337

図 11 -9 ロ

ジスティック回帰と SVM は、ともに 2 つの点の集合を分割する線を引く。しかし両者は異な

る基準によって最適化される。

11.4.1 線形サポートベクターマシン

以上の性質は、線形サポートベクターマシンの最適化を定義する。境界線や境界面は、他の線や面と同じ

ように、係数ベクトル w と入力変数ベクトル x の内積を使って、次のように書くことができる。

w · x − b = 0

2 つのクラスを分ける分離平面は、この直線と平行で等距離の 2 本の直線、すなわち w · x − b = −1 と

w · x − b = 1 によって定義される。

2 直線間の実際の幾何学的な間隔は w、つまり 2/∥w∥ によって変わる。直観的なイメージを得るために 2

次元の斜線で考えると、2 本の線が水平なら距離は 2 になるが、垂直に近ければ無視できるほど遠くなる。

2 つのクラスを分ける分離平面は、点を含まず、本当に赤の点と青の点を分割していなければならない。そ

のため、制約を加える必要がある。すべての赤（クラス 1）の点 x

i

は、次の式を満たさなければならない。

w · x − b ≧ 1

同様に、すべての青（クラス −1）の点 x

i

は、次の式を満たさなければならない。

w · x − b ≦ −1

x

i

のクラスを y

i

∈ [−1, 1] で表すものとすると、この 2 つの式を組み合わせて、次のような最適化問題

を作ることができる。

max ∥w ∥, ただしすべての ...