ゼロから作るDeep Learning ❸ ―フレームワーク編

ステップ32高階微分（実装編）

本ステップでは、高階微分を実現できるようにDeZeroを変更していきます。やることは、前ステップで述べたとおり、逆伝播で行う計算に対しても計算グラフを作ることです。そのために、逆伝播時に行う計算ではVariableインスタンスを使います。

	私たちはこれまで、dezero/core_simple.pyにVariableクラスを実装してきました。ここでは、それらに代わる新しいVariableクラスをdezero/core.pyに実装します。また、dezero/core_simple.pyでは、四則演算などの関数や演算子のオーバーロードも実装していました。それらの実装もdezero/core.pyで新たに行います。

32.1　新しいDeZeroへ

新しいDeZeroへ変更するにあたって最も重要な変更点は、Variableクラスのインスタンス変数であるgradです。これまで、そのgradはndarrayインスタンスを参照していました。新しいDeZeroでは、それがVariableインスタンスを参照するように変更します。それに伴い、Variableクラスの次の箇所を変更します。

dezero/core.py

class Variable:
    ...

    def backward(self, retain_grad=False):
        if self.grad is None:
            # self.grad = np.ones_like(self.data)
            self.