深度学习入门 : 基于Python的理论与实现

  第 3章　神经网络

68

答“ 有 74

%

的概率是第2 个类别，有 25

%

的概率是第1 个类别，有 1

%

的概

率是第 0个类别”。也就是说，通过使用

softmax

函数，我们可以用概率的（统

计的）方法处理问题。

这里需要注意的是，即便使用了

softmax

函数，各个元素之间的大小关

系也不会改变。这是因为指数函数（y

= exp(

x

)

）是单调递增函数。实际上，

上例中

a

的各元素的大小关系和

y

的各元素的大小关系并没有改变。比如，

a

的最大值是第2 个元素，

y

的最大值也仍是第2 个元素。

一般而言，神经网络只把输出值最大的神经元所对应的类别作为识别结果。

并且，即便使用

softmax

函数，输出值最大的神经元的位置也不会变。因此，

神经网络在进行分类时，输出层的

softmax

函数可以省略。在实际的问题中，

由于指数函数的运算需要一定的计算机运算量，因此输出层的

softmax

函数

一般会被省略。

AB

求解机器学习问题的步骤可以分为“学习”

A

 和“推理”两个阶段。首

先，在学习阶段进行模型的学习

B

，然后，在推理阶段，用学到的

模型对未知的数据进行推理（分类）。如前所述，推理阶段一般会省

略输出层的softmax函数。在输出层使用softmax函数是因为它和

神经网络的学习有关系（详细内容请参考下一章）。

3.5.4

　输出层的神经元数量

输出层的神经元数量需要根据待解决的问题来决定。对于分类问题，输

出层的神经元数量一般设定为类别的数量。比如，对于某个输入图像，预测

是图中的数字 0 到9 中的哪一个的问题（10 类别分类问题）