深度学习入门 : 基于Python的理论与实现

5.4  简单层的实现 

137

# backward

dprice = 1

dapple_price, dtax = mul_tax_layer.backward(dprice)

dapple, dapple_num = mul_apple_layer.backward(dapple_price)

print(dapple, dapple_num, dtax) # 2.2 110 200

这里，调用

backward()

的顺序与调用

forward()

的顺序相反。此外，要注

意

backward()

的参数中需要输入“关于正向传播时的输出变量的导数”。比如，

mul_apple_layer

乘法层在正向传播时会输出

apple_price

，在反向传播时，则

会将

apple_price

的导数

dapple_price

设为参数。另外，这个程序的运行结果

和图5

-

16 是一致的。

5.4.2

　加法层的实现

接下来，我们实现加法节点的加法层，如下所示。

class AddLayer:

def __init__(self):

pass

def forward(self, x, y):

out = x + y

return out

def backward(self, dout):

dx = dout * 1

dy = dout * 1

return dx, dy

加法层不需要特意进行初始化，所以

__init__()

中什么也不运行（

pass

语句表示“什么也不运行”）。加法层的

forward()

接收

x

和

y

两个参数，将它

们相加后输出。 ...