深度学习入门 : 基于Python的理论与实现

5.8  小结 

161

5.8

小结

本章我们介绍了将计算过程可视化的计算图，并使用计算图，介绍了神

经网络中的误差反向传播法，并以层为单位实现了神经网络中的处理。我们

学过的层有

ReLU

层、

Softmax-with-Loss

层、

Affine

层、

Softmax

层等，这

些层中实现了

forward

和

backward

方法，通过将数据正向和反向地传播，可

以高效地计算权重参数的梯度。通过使用层进行模块化，神经网络中可以自

由地组装层，轻松构建出自己喜欢的网络。

本章所学的内容

•

通过使用计算图，可以直观地把握计算过程。

•

计算图的节点是由局部计算构成的。局部计算构成全局计算。

•

计算图的正向传播进行一般的计算。通过计算图的反向传播，可以

计算各个节点的导数。

•

通过将神经网络的组成元素实现为层，可以高效地计算梯度（反向传

播 法 ）。

•

通过比较数值微分和误差反向传播法的结果，可以确认误差反向传

播法的实现是否正确（梯度确认）。