ゼロから作るDeep Learning ❸ ―フレームワーク編

付録Aインプレース演算（ステップ14の補足）

本付録は、ステップ14の補足ページです。ここでは、ステップ14で述べた「微分の加算に+=を使わない理由」について説明します。

A.1　問題の確認

まずは今回の問題について整理します。ステップ14では、同じ変数を繰り返し使えるようにするために、Variableクラスのbackwardメソッドを次のように修正しました。

class Variable:
    ...
    def backward(self):
        if self.grad is None:
            self.grad = np.ones_like(self.data)

        funcs = [self.creator]
        while funcs:
            f = funcs.pop()
            gys = [output.grad for output in f.outputs]
            gxs = f.backward(gys)

            for x, gx in zip(f.inputs, gxs):
                if x.grad is None:
                    x.grad = gx
                else:
                    x.grad = x.grad + gx

                if x.creator is not None:
                    funcs.append(x.creator)

修正点は網掛けで示した箇所です。簡単に言えば、1回目に微分（勾配）が伝播したときは、x.grad = gxと「代入」を行い、それ以降は、x.grad = x.grad + gxと「加算」を行います。ちなみに、gxはndarrayインスタンスです。ステップ14で指摘した点は、この加算をx.grad += gxと書くと問題になるケースが出てくるということでした。ここでは、その理由を説明します。

A.2　コピーと上書きについて ...