深度学习入门 : 基于Python的理论与实现

4.2  损失函数 

91

4.2.4

　mini-batch版交叉熵误差的实现

如何实现对应

mini-batch

的交叉熵误差呢？只要改良一下之前实现的对

应单个数据的交叉熵误差就可以了。这里，我们来实现一个可以同时处理单

个数据和批量数据（数据作为

batch

集中输入）两种情况的函数。

def cross_entropy_error(y, t):

if y.ndim == 1:

t = t.reshape(1, t.size)

y = y.reshape(1, y.size)

batch_size = y.shape[0]

return -np.sum(t * np.log(y + 1e-7)) / batch_size

这里，

y

是神经网络的输出，

t

是监督数据。

y

的维度为1 时，即求单个

数据的交叉熵误差时，需要改变数据的形状。并且，当输入为

mini-batch

时，

要用

batch

的个数进行正规化，计算单个数据的平均交叉熵误差。

此外，当监督数据是标签形式（非

one-hot

表示，而是像“2”“ 7”这样的

标签）时，交叉熵误差可通过如下代码实现。

def cross_entropy_error(y, t):

if y.ndim == 1:

t = t.reshape(1, t.size)

y = y.reshape(1, y.size)

batch_size = y.shape[0]

return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / ...