深度学习入门 : 基于Python的理论与实现

  第 3章　神经网络

64

机器学习的问题大致可以分为分类问题和回归问题。分类问题是数

据属于哪一个类别的问题。比如，区分图像中的人是男性还是女性

的问题就是分类问题。而回归问题是根据某个输入预测一个（连续的）

数值的问题。比如，根据一个人的图像预测这个人的体重的问题就

是回归问题（类似“57.4kg”这样的预测）。

3.5.1

　恒等函数和softmax函数

恒等函数会将输入按原样输出，对于输入的信息，不加以任何改动地直

接输出。因此，在输出层使用恒等函数时，输入信号会原封不动地被输出。

另外，将恒等函数的处理过程用之前的神经网络图来表示的话，则如图3

-

21

所示。和前面介绍的隐藏层的激活函数一样，恒等函数进行的转换处理可以

用一根箭头来表示。

a

1

y

1

a

2

y

2

a

3

y

3

σ()

σ()

σ()

图3-21　恒等函数

分类问题中使用的

softmax

函数可以用下面的式（3.10）表示。

（3.10）

exp(

x

)

是表示

e

x

的指数函数（

e

是纳皮尔常数2.7182

...

）。 式 （ 3.10）表 示

假设输出层共有n 个神经元，计算第k 个神经元的输出y

k

。 如 式（3.10）所 示 ，

softmax

函数的分子是输入信号a

k

的指数函数，分母是所有输入信号的指数

函数的和。

3.5  输出层的设计 

65

用图表示

softmax

函数的话 ...