机器学习开发者指南

第6章　卷积神经网络

经过神经元的层层堆叠，形成了用于优化模型的流行解决方案。从基于人类视觉的模型开始，进一步丰富节点的思想出现了。这些思想最初只是作为研究主题，但在实现了图像数据集和更强大的处理能力之后，它们成为了可能。利用这些思想，研究人员将分类模型的准确性提升到几乎达到人类的水平。现在本章准备在项目中利用这种能力。

本章中包含以下内容。

• 卷积神经网络的起源。
• 离散卷积的简单实现。
• 其他操作类型：池化、Dropout。
• 迁移学习。

6.1　卷积神经网络的起源

卷积神经网络（Convolutional Neural Networks，CNN）起源于很早以前，它是在多层感知器（Muli-layer Perception）不断完善的同时发展起来的，第一个例子就是神经认知机（Neocognitron）。

神经认知机（见图6.1）是一种层次化的多层人工神经网络（Artificial Neural Network，ANN），由Fukushima教授在1980年的一篇论文中提出，具有以下主要特点。

• 自组织。
• 对输入的移位和形变具有容错能力。

图6.1　神经认知机

这一原始想法于1986年再次出现在最初介绍反向传播的书中，并于1988年被用于语音识别中的时间信号处理。

此设计在1998年得到了改进，Ian LeCun在论文《Gradient-Based Learning Aapplied to Document Recognition》中提出了LeNet-5网络。这一体系结构用于对手写数字进行分类。与其他现有的模型相比，该模型的性能有所提高，特别是在支持向量机（Support ...