机器学习开发者指南

第5章　神经网络

作为一名开发人员，读者肯定对机器学习产生了兴趣，因为每天都能在常用设备上看到许多难以置信的应用程序：自动语音翻译、图片风格转换、从样本中生成新图片等。我们正进入到使所有这些事情成为可能的技术领域。

根据前面的学习可知，线性模型和逻辑模型在处理训练数据集的复杂性方面具有一定的局限性，即使它们是众多有效解决方案的基础部分。

一个模型需要何种程度的复杂度才能捕捉到作者的写作风格、区分猫和狗的形象概念或根据视觉元素来进行植物分类呢？这些事物需要总结大量低层次和高层次的细节特征，在人们的大脑中可以通过专门的神经元集合来进行捕获处理，而在计算机科学中则是通过神经网络模型来完成的。

接下来本书将省去关于神经系统的介绍、性能、神经元的数量及其化学性质等部分，因为这些内容可能会使问题看上去更加晦涩难懂，本章将要介绍的模型仅仅是简单的带有计算公式的数学方程，这样，对算法感兴趣的读者能够更加容易地理解它们。

本章讨论的主题如下。

• 神经模型的历史，包括感知器和自适应线性神经单元。
• 神经网络以及它们能解决的几类问题。
• 多层感知器。
• 实现简单的神经层来建模二元函数。

在本章中，读者将使用应用程序的构建块。那么，一起开始学习吧！

5.1　神经模型的历史

神经网络模型是一种建立大脑内部运作表现形式的模型，它在计算机科学领域的起源甚至可以追溯到20世纪40年代中期。

当时，神经科学和计算机科学领域开始合作，共同研究模拟大脑处理信息的方式，而这是从研究其组成单元，即神经元开始的。

第一个用于表示人类大脑学习功能的数学方法出自McCulloch和Pitts在1943年共同发表的一篇论文《A Logical Calculus of Ideas Immanent in Nervous Activity》，如图5.1所示。 ...