深度学习入门 : 基于Python的理论与实现

7.7  具有代表性的CNN 

231

如图7

-

26 所示，如果堆叠了多层卷积层，则随着层次加深，提取的信息

也愈加复杂、抽象，这是深度学习中很有意思的一个地方。最开始的层对简

单的边缘有响应，接下来的层对纹理有响应，再后面的层对更加复杂的物体

部件有响应。也就是说，随着层次加深，神经元从简单的形状向“高级”信息

变化。换句话说，就像我们理解东西的“含义”一样，响应的对象在逐渐变化。

7.7

具有代表性的CNN

关于

CNN

，迄今为止已经提出了各种网络结构。这里，我们介绍其中

特别重要的两个网络，一个是在1998 年首次被提出的

CNN

元祖

LeNet

[20]

，

另一个是在深度学习受到关注的2012 年被提出的

AlexNet

[21]

。

7.7.1

　LeNet

LeNet

在 1998 年被提出，是进行手写数字识别的网络。如图7

-

27 所示，

它有连续的卷积层和池化层（正确地讲，是只“抽选元素”的子采样层），最

后经全连接层输出结果。

图7-27　LeNet 的网络结构（引用自文献[20]）

和“现在的

CNN

”相 比 ，

LeNet

有几个不同点。第一个不同点在于激活

函数。

LeNet

中使用

sigmoid

函数，而现在的

CNN

中主要使用

ReLU

函数。

此外，原始的

LeNet

中使用子采样（

subsampling

）缩小中间数据的大小，而

现在的

CNN

中

Max

池化是主流。