深度学习入门 : 基于Python的理论与实现

  第 4章　神经网络的学习

110

步骤4（重 复）

重复步骤 1、步骤 2、步骤 3。

神经网络的学习按照上面4 个步骤进行。这个方法通过梯度下降法更新

参数，不过因为这里使用的数据是随机选择的

mini batch

数据，所以又称为

随机梯度下降法（

stochastic gradient descent

）。“随机”指的是“随机选择的”

的意思，因此，随机梯度下降法是“对随机选择的数据进行的梯度下降法”。

深度学习的很多框架中，随机梯度下降法一般由一个名为 SGD 的函数来实现。

SGD

来源于随机梯度下降法的英文名称的首字母。

下面，我们来实现手写数字识别的神经网络。这里以2 层神经网络（隐

藏层为1 层的网络）为对象，使用

MNIST

数据集进行学习。

4.5.1

　2层神经网络的类

首先，我们将这个2 层神经网络实现为一个名为

TwoLayerNet

的类，实现

过程如下所示

A

。源代码在

ch04/two_layer_net.py

中。

import sys, os

sys.path.append(os.pardir)

from common.functions import *

from common.gradient import numerical_gradient

class TwoLayerNet:

def __init__(self, input_size, hidden_size, output_size,

weight_init_std=0.01):

#

初始化权重

self.params = {}

self.params['W1'] ...