データサイエンス設計マニュアル

11.4 サポートベクターマシン 339

ため

に、2 次元空間に 2 個の点（1 個が赤、もう 1 個が青）があるという特殊な条件について考えてみよう。

当然ながら、両者を分割する直線は必ずあるはずだ。この分割のための直線をもとの空間に射影すると、何

らかの形で曲がった決定境界が得られる。このように、非線形 SVM は、入力の高次元空間への射影に支え

られている。

d 次元の n 個の点を n 次元の n 個の点に変換するときには、n 個のすべての入力点との距離によって各点

を表現するとよい。具体的には、個々の点 p

i

のために、v

ij

= dist(i, j)、すなわち p

i

から p

j

までの距離と

なるようなベクトル v

i

を作るのである。このような距離のベクトルは、新しい点 q を分類するときの強力

な特徴になる。q の本当のクラスの要素との距離は、他のクラスの要素との距離と比べて短くなるはずだ。

この特徴空間はとても強力なので、誰でも分類のために n × d の特徴行列を新しい n × n の特徴行列に

変換する関数を作ったらどうだろうと考えるはずだ。ここで問題になるのは空間である。通常、入力点の数

n は点の次元 d よりもはるかに大きい。そのような変換が実現可能なのは、点の数がごく少数のとき（例え

ば、n ≦ 1000）だけである。さらに、高次元の点の操作には、大きなコストがかかる。1 個の距離の評価に

も、次元数 d ではなく、点の数 n に比例する時間がかかってしまう。しかし、すばらしい秘密が残されてい ...