深度学习入门 : 基于Python的理论与实现

  第 6章　与学习相关的技巧

192

0.0

1.0

0.8

0.6

0.4

0.2

accuracy

0 50

100

150

200

epochs

train

test

图6-21　使用了权值衰减的训练数据（train）和测试数据（test）的识别精度的变化

如图6

-

21 所示，虽然训练数据的识别精度和测试数据的识别精度之间有

差距，但是与没有使用权值衰减的图6

-

20 的结果相比，差距变小了。这说明

过拟合受到了抑制。此外，还要注意，训练数据的识别精度没有达到 100

%

（1.0）。

6.4.3

　Dropout

作为抑制过拟合的方法，前面我们介绍了为损失函数加上权重的

L

2 范

数的权值衰减方法。该方法可以简单地实现，在某种程度上能够抑制过拟合。

但是，如果网络的模型变得很复杂，只用权值衰减就难以应对了。在这种情

况下，我们经常会使用

Dropout

[14]

方法。

Dropout

是一种在学习的过程中随机删除神经元的方法。训练时，随机

选出隐藏层的神经元，然后将其删除。被删除的神经元不再进行信号的传递，

如图6

-

22 所示。训练时，每传递一次数据，就会随机选择要删除的神经元。

然后，测试时，虽然会传递所有的神经元信号，但是对于各个神经元的输出，

要乘上训练时的删除比例后再输出。

6.4  正则化 

193

图6-22　 Dropout 的概念图 ...