Python深度学习从原理到应用

第4章　无监督特征学习

深度神经网络之所以能够取得其他传统机器学习技术难以企及的成功，原因之一是：它能够在不需要（很多）人力和领域知识的情况下学习实体在数据（特征）中的正确表示。

理论上，神经网络能够直接使用原始数据，并借助隐藏层的中间表示将输入层映射到期望的输出层。传统机器学习技术主要关注最终映射并且假设“特征工程”任务已经完成。

特征工程是一个利用现有领域知识创建数据的智能表示的过程，因此可以利用机器学习算法对特征工程进行处理。

吴恩达是美国斯坦福大学的一名教授，也是机器学习和人工智能领域的著名研究人员之一。在其著作及演讲中，他描述了传统机器学习在解决现实问题时的局限性。

让机器学习系统运行起来最困难的部分是找到正确的特征表示。

提出特征是一个困难而耗时的过程，并且需要专业知识。

在运行学习的应用程序时，调优特征往往要花费大量时间。

——引自吴恩达的“通过大脑模拟实现机器学习和人工智能”公开课，斯坦福大学

假设要把图像分类，如动物和车辆。原始数据是指图像中的像素矩阵。如果直接在逻辑回归或决策树中使用这些像素，则会为每个可能适用于给定训练样本的单一图像创建规则（或关联权值），但这将很难将其推广应用到相同图像上的小变化。换言之，假设我的决策树发现有5个重要像素——其亮度（假设仅显示黑白色调）可以确定大多数训练数据如何被区分为两类（动物和车辆）。相同图像在经过裁剪、移动、旋转或重新上色之后，将不再遵循同于之前的规则。因此，模型可能会对它们随机分类。出现这种情况的主要原因是：所考虑的特征太弱且不稳定。不过，可以先对数据进行预处理，以便提取如下特征。

（1）图像是否包含类似车轮的对称中心形状？

（2）图像是否包含车把或方向盘？

（3）图像是否包含腿或头？

（4）图像是否包含两只眼睛的脸？ ...