深度学习入门 : 基于Python的理论与实现

  第 6章　与学习相关的技巧

200

这样就能缩小到合适的超参数的存在范围，然后在某个阶段，选择一个最终

的超参数的值。

6.6

小结

本章我们介绍了神经网络的学习中的几个重要技巧。参数的更新方法、

权重初始值的赋值方法、

Batch

Normalization

、

Dropout

等，这些都是现代

神经网络中不可或缺的技术。另外，这里介绍的技巧，在最先进的深度学习

中也被频繁使用。

本章所学的内容

•

参数的更新方法，除了SGD 之 外，还 有 Momentum、AdaGrad、

Adam 等方法。

•

权重初始值的赋值方法对进行正确的学习非常重要。

•

作为权重初始值，Xavier 初始值、He 初始值等比较有效。

•

通过使用 Batch Normalization，可以加速学习，并且对初始值变得

健壮。

•

抑制过拟合的正则化技术有权值衰减、Dropout 等。

•

逐渐缩小“好值”存在的范围是搜索超参数的一个有效方法。