深度学习入门 : 基于Python的理论与实现

  第 3章　神经网络

62

图3-20　从第2 层到输出层的信号传递

1

1

1

x

1

x

2

y

1

y

2

σ()

σ()

输出层所用的激活函数，要根据求解问题的性质决定。一般地，回

归问题可以使用恒等函数，二元分类问题可以使用sigmoid函数，

多元分类问题可以使用softmax函数。关于输出层的激活函数，我

们将在下一节详细介绍。

3.4.3

　代码实现小结

至此，我们已经介绍完了3 层神经网络的实现。现在我们把之前的代码

实现全部整理一下。这里，我们按照神经网络的实现惯例，只把权重记为大

写字母

W1

，其他的（偏置或中间结果等）都用小写字母表示。

def init_network():

network = {}

network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])

network['b1'] = np.array([0.1, 0.2, 0.3])

network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])

network['b2'] = np.array([0.1, 0.2])

network['W3'] = np.array([[0.1, 0.3], [0.2, 0.4]])