
301
第 20 章
神经网络
20.0
简介
神经网络的核心是
神经元
(
unit
)。神经元接收一个或者多个输入,为每个输入乘以一个
参数(又叫作
权重
),接着对加权之后的输入值求和再加上某个偏差值(一般是
1
), 最
后把这个值反馈给一个激活函数。这个输出值会被向前传递给神经网络中更深层的神经
元(如果还有更深层的神经元的话)。
前馈
(
feedforward
)神经网络,又叫作
多层感知器
(
multilayer perceptron
),是现实世
界中最简单的人工神经网络。神经网络可以视为由一系列相互连接的层组成的网络,它
的一端连接着一个观察值的特征值,另一端连接着对应的目标值(比如观察值的分类)。
观察值的特征值在网络中向前传播,每经过一层,网络都会对特征值进行转换,目标是
让最后的输出与目标值相同,“前馈”这个名字就源于此。
具体来说,前馈神经网络包含
3
种类型的神经元层。神经网络的起始端有一个输入层,
输入层的每一个神经元包含一个观察值的某一个特征值。比如,如果一个观察值有
100
个特征,那么输入层就有
100
个节点。神经网络的末端有一个输出层,它把隐藏层的输
出转换成对我们的任务有用的值。举个例子,如果我们的目标是对数据做二元分类,我
们可以使用一个只有一个节点的输出层,这个节点使用
sigmoid
函数将它的输出限定在
0
和
1
之间,表示对观察值的预测分类的概率。夹在输入层和输出层之间的就是我们前
面说的“隐藏”层(其实它们根本没有隐藏)。这些隐藏层接连不断地将输入层的特征
值转换为一些值,这些值只要经输出层处理,就可以得到对应观察值的目标分类。有多 ...