深度学习入门 : 基于Python的理论与实现

3.2  激活函数 

49

神经网络的激活函数必须使用非线性函数。换句话说，激活函数不能使

用线性函数。为什么不能使用线性函数呢？因为使用线性函数的话，加深神

经网络的层数就没有意义了。

线性函数的问题在于，不管如何加深层数，总是存在与之等效的“无

隐藏层的神经网络”。为了具体地（稍微直观地）理解这一点，我们来思

考下面这个简单的例子。这里我们考虑把线性函数h

(

x

) = c

x 作为激活

函数，把 y

(

x

) =

h

(

h

(

h

(

x

)))

的运算对应3 层神经网络

A

。这个运算会进行

y

(

x

) = c × c × c ×

x 的乘法运算，但是同样的处理可以由y

(

x

) =

ax（注 意 ，

a

= c

3

）这一次乘法运算（即没有隐藏层的神经网络）来表示。如本例所示，

使用线性函数时，无法发挥多层网络带来的优势。因此，为了发挥叠加层所

带来的优势，激活函数必须使用非线性函数。

3.2.7

　ReLU函数

到目前为止，我们介绍了作为激活函数的阶跃函数和

sigmoid

函数。在

神经网络发展的历史上，

sigmoid

函数很早就开始被使用了，而最近则主要

使用ReLU（

Rectified Linear Unit

）函数。

ReLU

函数在输入大于0 时，直接输出该值；在输入小于等于0 时，输

出0（图 3

-

9）。

ReLU

函数可以表示为下面的式

(

3.7

)

。

（3.7）

如图3

-

9 和 式（3.7）所 示 ，

ReLU

函数是一个非常简单的函数。因此，

ReLU

函数的实现也很简单，可以写成如下形式。

def relu(x):

return np.maximum(0, x) ...