
7.2 卷积层
213
图7-12 卷积运算的处理流(追加了偏置项)
+
+
H
FH
FN个
FW
W
OH
1
1
OW
(C, H, W) (FN, C, FH, FW) (FN, OH, OW)
C
C
FN
FN
输入数据
(FN, OH, OW)
输出数据
(FN, 1, 1)
偏置滤波器
OH
OW
FN
7.2.7
批处理
神经网络的处理中进行了将输入数据打包的批处理。之前的全连接神经
网络的实现也对应了批处理,通过批处理,能够实现处理的高效化和学习时
对
mini-batch
的对应。
我们希望卷积运算也同样对应批处理。为此,需要将在各层间传递的数
据保存为4 维数据。具体地讲,就是按
(batch
_
num
,
channel
,
height
,
width)
的顺序保存数据。比如,将图7
-
12 中的处理改成对
N
个数据进行批处理时,
数据的形状如图7
-
13 所示。
图 7
-
13 的批处理版的数据流中,在各个数据的开头添加了批用的维度。
像这样,数据作为4 维的形状在各层间传递。这里需要注意的是,网络间传
递的是4 维数据,对这
N
个数据进行了卷积运算。也就是说,批处理将
N
次
的处理汇总成了1 次进行。
图7-13 卷积运算的处理流(批处理)
*
+
+
*
H
N 个数据 N 个数据 N 个数据
FH
FN 个
FW
W
OH
1
1
OW
(N, C, H, W) (FN, C, FH, FW) (N, FN, OH, OW)
C
C
FN
FN
输入数据
(N, FN, OH, OW)
输出数据
(FN, 1, 1)
偏置滤波器
OH
OW
FN