データサイエンス設計マニュアル

9.4 パラメータフィッティング問題としての回帰 257

図 9 -6 最

適な回帰式 y = w

1

x（左）は、誤差を最小にする w

1

がわかれば見つけられる。誤差の最小値は、

右の凸関数の最小値によって定義される

9.4.1 凸パラメータ空間

ここまでの結論を言うと、損失関数 J(w

0

, w

1

) は (w

0

, w

1

) 空間の面を定義し、z = J(w

0

, w

1

) として、

その空間の中で z が最も小さくなる点を探さなければいけないのだ。

単純に考えるために、w

0

= 0 として、この回帰式は原点を通るものとする。こうすると、探さなければ

ならないパラメータは、回帰式の傾き w

1

だけになる。図 9 -6（左）が示すように、点の集合へのフィッ

ティングということでは特定の傾きは他の傾きよりもずっと優れている。この場合、y = x が明らかに最も

フィットする。

図 9 -6（右）は、w

1

とともに誤差（損失）がどのように変化するかを示している。面白いのは、誤差関数

が放物線のような形をしていることだ。誤差関数は、曲線の底の部分でただ 1 つの最小値をとる。この最小

値の点の x が回帰式の最良の傾き w

1

を定義する。この場合は、それがたまたま w

1

= 1 の近くに存在して

いる。

あらゆる凸曲面には、局所的な最小値が 1 つだけある。さらに、どの凸曲面でも、この最小値を探すのは

非常に簡単であり、最小値に出会うまで下に向かって進んでいけばよい。曲面上のどの点にいても、ほんの

少し動けば、曲面上の近傍の点に移動する。動く向きによって少し高い値に進むこともあるが、低い値に進 ...