ゼロから作るDeep Learning ❸ ―フレームワーク編

ステップ33ニュートン法を使った最適化（自動計算）

私たちはこれまで、2階微分を手計算で求めていました。ここでは、新しいDeZeroを使って、自動で2階微分を求めてみます。まずは簡単な計算を対象に2階微分を計算します。そして、それが上手くいくことを確認したら、続いてニュートン法を使った最適化を行います。

33.1　2階微分を求める

それでは早速、2階微分を求めてみましょう。ここでは、ステップ29で扱ったという計算を対象にします。私たちのDeZeroを使えば、これは次のように実装できます（次に示す実装には、実は1つだけ問題があります）。

import numpy as np
from dezero import Variable

def f(x):
    y = x ** 4 - 2 * x ** 2
    return y

x = Variable(np.array(2.0))
y = f(x)
y.backward(create_graph=True)
print(x.grad)

gx = x.grad
gx.backward()
print(x.grad)

実行結果

variable(24.0)
variable(68.0)

まずは、y.backward(create_graph=True)によって、1回目の逆伝播を行います。ここで、引数にcreate_graph=Trueと指定することで、逆伝播の計算に対しても計算グラフが作られます。続いて、逆伝播の計算グラフに対して、さらに逆伝播を行います。このとき、 ...