PyTorch深度学习

第3章　深入了解神经网络

本章将介绍用于解决实际问题的深度学习架构的不同模块。前一章使用PyTorch的低级操作构建了如网络架构、损失函数和优化器这些模块。本章将介绍用于解决真实问题的神经网络的一些重要组件，以及PyTorch如何通过提供大量高级函数来抽象出复杂度。本章还将介绍用于解决真实问题的算法，如回归、二分类、多类别分类等。

本章将讨论如下主题：

• 详解神经网络的不同构成组件；
• 探究PyTorch中用于构建深度学习架构的高级功能；
• 应用深度学习解决实际的图像分类问题。

3.1　详解神经网络的组成部分

上一章已经介绍了训练深度学习算法需要的几个步骤。

1．构建数据管道。

2．构建网络架构。

3．使用损失函数评估架构。

4．使用优化算法优化网络架构的权重。

上一章中的网络由使用PyTorch数值运算构建的简单线性模型组成。尽管使用数值运算为玩具性质的问题搭建神经架构很简单，但当需要构建解决不同领域的复杂问题时，如计算机视觉和自然语言处理，构建一个架构就迅速变得复杂起来。大多数深度学习框架，如PyTorch、TensorFlow和Apache MXNet，都提供了抽象出很多复杂度的高级功能。这些深度学习框架的高级功能称为层（layer）。它们接收输入数据，进行如同在前面一章看到的各种变换，并输出数据。解决真实问题的深度学习架构通常由1~150个层组成，有时甚至更多。抽象出低层的运算并训练深度学习算法的过程如图3.1所示。

图3.1

3.1.1　层——神经网络的基本组成

在本章的剩余部分，我们会见到各种不同类型的层。首先，先了解其中最重要的一种层：线性层，它就是我们前面讲过的网络层结构。线性层应用了线性变换： ...