深度学习入门 : 基于Python的理论与实现

3.2  激活函数 

43

信号被传送给下一个神经元。实际上，上一章介绍的感知机和接下来要介绍

的神经网络的主要区别就在于这个激活函数。其他方面，比如神经元的多层

连接的构造、信号的传递方法等，基本上和感知机是一样的。下面，让我们

通过和阶跃函数的比较来详细学习作为激活函数的

sigmoid

函数。

3.2.2

　阶跃函数的实现

这里我们试着用

Python

画出阶跃函数的图（从视觉上确认函数的形状对

理解函数而言很重要）。阶跃函数如式（3.3）所示，当输入超过0 时，输出 1，

否则输出0。可以像下面这样简单地实现阶跃函数。

def step_function(x):

if x > 0:

return 1

else:

return 0

这个实现简单、易于理解，但是参数

x

只能接受实数（浮点数）。也就是

说，允许形如

step_function(3.0)

的调用，但不允许参数取

NumPy

数组，例

如

step_function(np.array([1.0, 2.0]))

。为了便于后面的操作，我们把它修

改为支持

NumPy

数组的实现。为此，可以考虑下述实现。

def step_function(x):

y = x > 0

return y.astype(np.int)

上述函数的内容只有两行。由于使用了

NumPy

中的“技巧”，可能会有

点难理解。下面我们通过

Python

解释器的例子来看一下这里用了什么技巧。

下面这个例子中准备了

NumPy

数组

x

，并对这个

NumPy

数组进行了不等号

运算。

>>> import numpy as np