Python迁移学习

第2章　深度学习精要

本章将介绍深度学习基础，从最基本的“什么是深度学习”这个问题开始，到有关神经网络的其他基本概念和术语。读者将了解神经网络的基本构建模块，以及如何训练深度神经网络。本章也会介绍模型训练的相关内容，包括激活函数、损失函数、反向传播和超参数微调策略。这些基本概念对正在尝试深入研究神经网络模型的新手和经验丰富的数据科学家都会大有帮助。本章还特别关注如何建立一个支持GPU的、健壮的云端深度学习环境，以及如何建立内部深度学习环境的技巧。这对于希望自己创建大型深度学习模型的读者来说应该非常有用。本章将讨论下列主题：

• 什么是深度学习；
• 深度学习基础；
• 创建一个支持GPU的云端深度学习环境；
• 创建一个支持GPU的、健壮的内部深度学习环境；
• 神经网络基础。

2.1　什么是深度学习

在机器学习中，我们试着自动地去发现将输入数据映射到希望输出的规则。在这个过程中，创建适合数据的表示方法非常重要。例如，如果我们想创建一个把邮件分类为非垃圾邮件或垃圾邮件的算法，那么我们需要将邮件数据进行数值化表示。其中一种简单的表示是将邮件表示为一个二元向量，向量的每个元素用于描述邮件中是否存在预定义词汇表中的某个单词。另外，这些表示是与任务息息相关的，也就是说，输出表示可能会根据机器学习算法最终适用的任务而大不相同。

在前面的电子邮件例子中，如果我们希望检测邮件内容中的潜在的情绪，而不是分辨垃圾邮件或非垃圾邮件，一种更有用的数据表示是另一种二元向量，其对应的预定义词汇表由正向或负向的词汇组成。大多数机器学习算法（如随机森林和逻辑回归）的成功应用取决于数据表示的好坏。我们如何获得这些表示呢？通常来说，数据表示是通过进行智能猜测迭代来获取的人造特征的。这个步骤被称为特征工程，它是大多数机器学习算法中的关键步骤之一， ...