精通特征工程

124

｜

第

8

章

局部响应归一化在相邻核之间引起竞争

顾名思义，局部响应归一化将某个值除以它的邻居组合，公式如下：

()

2

neighborhoodof

kk

k

y

xc x

β

α

∈

=+

∑





其中，

x

k

是第

k

个核的输出，

y

k

相对于邻域中其他核的归一化响应。对于每个输出位

置，归一化是分别进行的；也就是说，对每个输出位置

(

i

,

j

)

，我们都通过附近的卷积

核输出进行归一化。注意，这不同于通过图像邻域或输出位置进行的归一化。核邻域

的大小

c

、

α

、

β

都是通过图像验证集调优的超参数。

8.3.5

　池化层

池化层将多个输入组合成一个输出。当卷积滤波器在图像上移动时，每处理一个邻域都会

生成一个输出。池化强制一个局部图像邻域生成一个值，而不是多个值。这可以减少深度

学习网络中间层的输出数量，从而有效降低网络在训练数据时出现过拟合的概率。

有多种方法可以池化输入：求平均值、求和（或计算广义的范数）或取最大值。池化可以

沿着图像或中间输出层移动进行。

AlexNet

使用重叠的最大值池化，在图像中以两个像素

（或输出）的步长进行移动，在

3

个邻居之间进行池化，见图

8-13

。

最大值池化

输出

输入

步长=2

宽度=3

图 8-13：最大值池化使用非线性下采样在每个子区域输出非重叠矩形的最大数量

8.3.6

　

AlexNet

的结构

总体来说，

AlexNet

包括

5

个卷积层、

2

个响应归一化层、

3

个最大值池化层和

2

个全连接层。

加上最终的分类输出层，模型中一共有

13

个神经网络层，形成了

8

个层组，详见图

8-14

。

自动特征生成：图像特征提取和深度学习

｜

125 ...