深度学习入门 : 基于Python的理论与实现

  第 3章　神经网络

40

x

1

w

1

x

2

w

2

y

1

b

图3-3　明确表示出偏置

（3.3）

式（3.2）中，输入信号的总和会被函数 h

(

x

)

转换，转换后的值就是输出 y。

然 后 ，式（3.3）所表示的函数 h

(

x

)

，在输入超过 0 时返回 1，否则返回 0。因此，

式（3.1）和 式（3.2）、 式 （ 3.3）做的是相同的事情。

3.1.3

　激活函数登场

刚才登场的h（x）函数会将输入信号的总和转换为输出信号，这种函数

一般称为激活函数（

activation function

）。如“激活”一词所示，激活函数的

作用在于决定如何来激活输入信号的总和。

现在来进一步改写式（3.2）。 式 （ 3.2）分两个阶段进行处理，先计算输入

信号的加权总和，然后用激活函数转换这一总和。因此，如果将式（3.2）写

得详细一点，则可以分成下面两个式子。

a

=

b

+

w

1

x

1

+

w

2

x

2

（3.4）

y

=

h

(

a

)

（3.5）

首 先 ， 式（3.4）计算加权输入信号和偏置的总和，记为a。然后，式（3.5）

用h

()

函数将a 转换为输出 y。

3.1  从感知机到神经网络 

41

之前的神经元都是用一个○表示的，如果要在图中明确表示出式（3.4）

和 式（3.5），则可以像图 3

-

4 这样做。

x

1

w

1

x

2

w

2

y

1

b

a

图3-4　明确显示激活函数的计算过程 ...