ゼロから作るDeep Learning ❸ ―フレームワーク編

ステップ29ニュートン法を用いた最適化（手計算）

前ステップでは、ローゼンブロック関数の最小値を、勾配降下法を使って求めました。しかしそこでは、勾配を求める作業を50,000回近く繰り返して、ようやく目的地に辿り着きました。その例が示すように、勾配降下法は、一般的には収束が遅いという欠点があります。

勾配降下法に代わる手法で、より収束の速い手法はいくつかあります。その中でも有名なのが、ニュートン法を用いた最適化です。ニュートン法による最適化を行えば、より少ないステップ数で最適解に辿り着く可能性が高まります。たとえば、私たちが前ステップで取り組んだ問題においては、図29-1のような結果が得られます。

図29-1 勾配降下法での更新経路（左図）とニュートン法を用いた最適化手法での更新経路（右図）

図29-1を見ると、勾配降下法が“谷”に苦戦しながら、ゆっくりと目的値に向かっているのに対して、ニュートン法は谷を飛び越し、一気に目的地に辿り着きます。その更新回数は、わずか6回です！ 勾配降下法は5万回近くも必要だった更新が、ニュートン法ではわずか6回で済むという劇的な差が生まれました。

	ローゼンブロック関数では、勾配降下法とニュートン法でステップ数に大きな違いが出ました。もちろんこの回数は、初期値や学習率などの設定値によって大きく変わります。実際、そこまで大きな違いが見られないケースも多々あります。一般的には、初期値が解に十分近ければ、ニュートン法の方が早く収束します。 ...