机器学习实战：基于Scikit-Learn、Keras 和TensorFlow （原书第2 版）

250

｜

第

10

章

10.1 从生物神经元到人工神经元

令人惊讶的是，人工神经网络已经存在很长一段时间了：它们于 1943 年由神经生理学

家 Warren McCulloch 和数学家 Walter Pitts 首次提出。McCulloch 和 Pitts 在其具有里程

碑意义的论文“ A Logical Calculus of Ideas Immanent in Nervous Activity

注 2

”中，提出

了一种简化的计算模型，该模型计算了生物神经元如何在动物大脑中协同工作，利用命

题逻辑进行复杂的计算。这是第一个人工神经网络架构。从那时起，我们看到许多其他

架构被发明出来。

1

人工神经网络的早期成功使得人们普遍相信，我们很快将与真正的智能机器进行对话。

当在 20 世纪 60 年代我们清楚地知道不能兑现这一承诺（至少相当长一段时间）时，资

金流向了其他地方，人工神经网络进入了漫长的冬天。在 20 世纪 80 年代初期，发明了

新的架构，并开发了更好的训练技术，从而激发了人们对连接主义（神经网络的研究）

的兴趣。但是进展缓慢，到了 20 世纪 90 年代，发明了其他强大的机器学习技术，例如

支持向量机（见第 5 章）。这些技术似乎提供了比人工神经网络更好的结果和更坚实的

理论基础，神经网络的研究再次被搁置。

我们现在目睹了对人工神经网络的另一波兴趣。这波浪潮会像以前一样消灭吗？好吧，

这里有一些充分的理由使我们相信这次是不同的，人们对人工神经网络重新充满兴趣将

对我们的生活产生更深远的影响：

•