R深度学习权威指南

第5章　训练深度预测模型

在本章中，我们将探索如何训练并建立深度预测模型。我们将关注前馈神经网络，它可能是最常见的一个神经网络类型，是一个良好的起点。

本章将涉及下列主题。

• 深度前馈神经网络的入门
• 常见的激活函数：整流器、双曲正切和maxout
• 选取超参数
• 从深度神经网络训练并预测新数据
• 用例——训练一个深度神经网络用于自动分类

在本章中，我们不会使用任何新的R包。唯一的要求是获取checkpoint.R文件，为剩余要显示的代码建立R环境并初始化H2O集群。这些都可以用下面的代码来完成。

source("checkpoint.R")
options(width = 70, digits = 2)

cl <- h2o.init(
  max_mem_size = "12G",
  nthreads = 4)

5.1　深度前馈神经网络入门

深度前馈神经网络的设计是去近似一个函数f()，这个函数把一些输入变量x的集合映射到一个输出变量y。我们称它为深度前馈神经网络是因为来自输入的信息流要穿过直到输出为止的每一个相继的层，而没有任何反馈和递归循环（既包括前向也包括后向连结的模型被称为循环神经网络（recurrent neural networks））。

深度前馈神经网络适用非常广泛，而且对于诸如图像分类这样的应用特别有用。一般来说，在有一个明确定义的输出时（图像中包含什么数字，是不是有人在上楼梯、下楼梯还是在平地行走，患病/不患病，等等），前馈神经网络对于预测和分类是很有用的。在这些情况中，没有特别的对于反馈循环的需求。循环神经网络对那些反馈循环很重要的情况是有用的，比如说自然语言处理。但是这超过了本书的范围，本书关注的是训练标准的预测模型。

我们可以通过把各层或各函数链接在一起来构建深度前馈神经网络。例如，如图5-1中有四个隐藏层的网络。 ...