深度学习入门 : 基于Python的理论与实现

  第 5章　误差反向传播法

148

1

X

(2,)

X・W

(3,)

W

(2, 3)

dot

(3,)

1

(3,) (3, 2)

(2,)

图5-26　 矩阵的乘积（“dot”节点）的反向传播可以通过组建使矩阵对应维度的元素个数一

致的乘积运算而推导出来

5.6.2

　批版本的Affine层

前面介绍的

Affi ne

层的输入

X

是以单个数据为对象的。现在我们考虑N

个数据一起进行正向传播的情况，也就是批版本的

Affi ne

层。

先给出批版本的

Affi ne

层的计算图，如图5

-

27 所示。

dot

＋

W

(2, 3)

X

(N, 2)

X・W

(N, 3)

Y

(N, 3)

B

(3,)

1

2

3

(N, 3) (N, 3)

(N, 2) (N, 3)

1

2

3

(3, 2)

(N, 3)(2, N)

(2, 3)

(3) (N, 3)

的第一个轴（第0轴）方向上的和

图5-27　批版本的Affi ne 层的计算图

5.6  Affine/Softmax层的实现 

149

与刚刚不同的是，现在输入

X

的形状是

(N

, 2

)

。之后就和前面一样，在

计算图上进行单纯的矩阵计算。反向传播时，如果注意矩阵的形状，就可以

和前面一样推导出

和 。

加上偏置时，需要特别注意。正向传播时，偏置被加到

X

·

W

的各个

数据上。比如，

N =

2（数据为 2 个）时，偏置会被分别加到这2 个数据（各自

的计算结果