深度学习入门 : 基于Python的理论与实现

5.5  激活函数层的实现 

139

这个实现稍微有一点长，但是每一条命令都很简单。首先，生成必要的

层，以合适的顺序调用正向传播的

forward()

方法。然后，用与正向传播相

反的顺序调用反向传播的

backward()

方法，就可以求出想要的导数。

综上，计算图中层的实现（这里是加法层和乘法层）非常简单，使用这

些层可以进行复杂的导数计算。下面，我们来实现神经网络中使用的层。

5.5

激活函数层的实现

现在，我们将计算图的思路应用到神经网络中。这里，我们把构成神经

网络的层实现为一个类。先来实现激活函数的

ReLU

层和

Sigmoid

层。

5.5.1

　ReLU层

激活函数

ReLU

（

Rectified Linear Unit

）由 下 式（5.7）表示。

（5.7）

通过式（5.7），可以求出y 关于x 的导数，如式（5.8）所示。

（5.8）

在 式（5.8）中，如果正向传播时的输入x 大于0，则反向传播会将上游的

值原封不动地传给下游。反过来，如果正向传播时的x 小于等于0，则反向

传播中传给下游的信号将停在此处。用计算图表示的话，如图5

-

18 所示。

现在我们来实现

ReLU

层。在神经网络的层的实现中，一般假定

forward()

和

backward()

的参数是

NumPy

数组。另外，实现

ReLU

层的源代码在

common/

layers.py

中。

  第 5章　误差反向传播法

140

图5-18　ReLU 层的计算图

relu relu

y yx

0

x

x > 0 时

x



0 时

class Relu:

def __init__(self): ...