深度学习入门 : 基于Python的理论与实现

  第 5章　误差反向传播法

158

像这样通过将神经网络的组成元素以层的方式实现，可以轻松地构建神

经网络。这个用层进行模块化的实现具有很大优点。因为想另外构建一个神

经网络（比如5 层、10 层、20层……的大的神经网络）时，只需像组装乐高

积木那样添加必要的层就可以了。之后，通过各个层内部实现的正向传播和

反向传播，就可以正确计算进行识别处理或学习所需的梯度。

5.7.3

　误差反向传播法的梯度确认

到目前为止，我们介绍了两种求梯度的方法。一种是基于数值微分的方

法，另一种是解析性地求解数学式的方法。后一种方法通过使用误差反向传

播法，即使存在大量的参数，也可以高效地计算梯度。因此，后文将不再使

用耗费时间的数值微分，而是使用误差反向传播法求梯度。

数值微分的计算很耗费时间，而且如果有误差反向传播法的（正确的）

实现的话，就没有必要使用数值微分的实现了。那么数值微分有什么用呢？

实际上，在确认误差反向传播法的实现是否正确时，是需要用到数值微分的。

数值微分的优点是实现简单，因此，一般情况下不太容易出错。而误差

反向传播法的实现很复杂，容易出错。所以，经常会比较数值微分的结果和

误差反向传播法的结果，以确认误差反向传播法的实现是否正确。确认数值

微分求出的梯度结果和误差反向传播法求出的结果是否一致（严格地讲，是

非常相近）的操作称为梯度确认（

gradient check

）。梯度确认的代码实现如下

所示（源代码在

ch05/gradient_check.py

中 ）。

import sys, os

sys.path.append(os.pardir) ...