ゼロから作るDeep Learning ❸ ―フレームワーク編

ステップ31高階微分（理論編）

前ステップでは、現状のDeZeroの実装を振り返りました。その要点をまとめると、次のようになります。

• 計算の「つながり」は、Functionクラスの__call__メソッドの中で作られる
• 具体的な順伝播と逆伝播の計算は、Functionクラスを継承した先のクラスのforwardメソッドとbackwardメソッドで行う

ここで注目したい点は、計算グラフの「つながり」が作られるタイミングです。それは、順伝播の計算が行われるときに作られます。一方、逆伝播で行う計算に関しては、計算の「つながり」は作られません。ここに問題の核心があります。

31.1　逆伝播で行う計算

順伝播と同様に、逆伝播においても具体的な計算は行われます。たとえば、前ステップに登場したSinクラスの場合、backwardメソッドは次のように実装されています。

class Sin(Function):
    ...

    def backward(self, gy):
        x = self.inputs[0].data
        gx = gy * np.cos(x)
        return gx

上記のように、gx = gy * np.cos(x)という具体的な計算が行われます。しかし、現状のDeZeroでは、その計算に関しての計算グラフは何も作られません。なぜなら、その計算はndarrayインスタンスに対して行われているからです。もし、逆伝播で行う計算に関しても「つながり」が作られるならば、どうなるでしょうか。実は、高階微分は自動で求めることができるのです！ その原理を説明するにあたって、まずは図31-1の計算グラフを見てみましょう。

図31-1 y=sin(x)の計算グラフ

図31-1は、y=sin(x) ...