深度学习入门 : 基于Python的理论与实现

  第 3章　神经网络

66

3.5.2

　实现softmax函数时的注意事项

上面的

softmax

函数的实现虽然正确描述了式（3.10），但在计算机的运算

上有一定的缺陷。这个缺陷就是溢出问题。

softmax

函数的实现中要进行指

数函数的运算，但是此时指数函数的值很容易变得非常大。比如，

e

10

的值

会超过20000，

e

100

会变成一个后面有40 多个0 的超大值，

e

1000

的结果会返回

一个表示无穷大的

inf

。如果在这些超大值之间进行除法运算，结果会出现“不

确定”的情况。

计算机处理“数”时，数值必须在 4 字节或 8 字节的有限数据宽度内。

这意味着数存在有效位数，也就是说，可以表示的数值范围是有

限的。因此，会出现超大值无法表示的问题。这个问题称为溢出，

在进行计算机的运算时必须（常常）注意。

softmax

函数的实现可以像式（3.11）这样进行改进。

（3.11）

首先，式（3.11）在分子和分母上都乘上

C

这个任意的常数（因为同时对

分母和分子乘以相同的常数，所以计算结果不变）。然后，把这个

C

移动到

指数函数（

exp

）中，记为

log C

。最后，把

log C

替换为另一个符号

C



。

式（3.11）说明，在进行

softmax

的指数函数的运算时，加上（或者减去）

某个常数并不会改变运算的结果。这里的

C



可以使用任何值，但是为了防

止溢出，一般会使用输入信号中的最大值。我们来看一个具体的例子。