机器学习实战：基于Scikit-Learn、Keras 和TensorFlow （原书第2 版）

Keras

人工神经网络简介

｜

255

启发。Donald Hebb 在其 1949 年的

The Organization of Behavior

（Wiley）中提出，当

一个生物神经元经常触发另一个神经元时，这两个神经元之间的联系就会增强。后来，

Siegrid Löwel 用有名的措辞概括了 Hebb 的思想，即“触发的细胞，连接在一起”。也

就是说，两个神经元同时触发时，它们之间的连接权重会增加。该规则后来被称为 Hebb

规则（或

Hebb

学习）。使用此规则的变体训练感知器，该变体考虑了网络进行预测时

所犯的错误。感知器学习规则加强了有助于减少错误的连接。更具体地说，感知器一次

被送入一个训练实例，并且针对每个实例进行预测。对于产生错误预测的每个输出神经

元，它会增强来自输入的连接权重，这些权重将有助于正确的预测。该规则如公式 10-3

所示。

公式 10-3：感知器学习规则（权重更新）

w

i

,

j

（

下一步

）

=

w

i

,

j

+

η

(

y

j

-

y

^

j

)

x

i

在此等式中：

•

w

i

,

j

是第

i

个输入神经元和第

j

个输出神经元之间的连接权重。

•

x

i

是当前训练实例的第

i

个输入值。

•

y

^

j

是当前训练实例的第

j

个输出神经元的输出。

•

y

j

是当前训练实例的第

j

个输出神经元的目标输出。

•

η

是学习率。

每个输出神经元的决策边界都是线性的，因此感知器无法学习复杂的模式（就像逻辑回

归分类器一样）。但是，如果训练实例是线性可分的，Rosenblatt 证明了该算法将收敛到

一个解

注 8

。这被称为感知器收敛定理。

1

Scikit-Learn ...