精通特征工程

94

第 7 章

非线性特征化与

k

-

均值模型堆叠

当数据位于一个薄饼状的线性子空间时，

PCA

是非常有用的。但如果数据形成了一个更加

复杂的形状，情况又将如何呢？

1

平面（线性子空间）可以推广为

流形

（非线性子空间），

可以把流形看作一个可以以多种方式伸展和卷动的曲面。

2

如果线性子空间是一张平展的纸，那么非线性流形的一个简单例子就是卷起来的纸，它有

个非正式的名称，叫作

瑞士卷

（见图

7-1

）。一旦卷了起来，二维平面就占据了三维空间，

尽管它本质上还是个二维对象。换句话说，它具有低本征维数，这个概念我们在

6.1

节中

已经接触过了。如果能够以某种方式展开瑞士卷，就可以恢复二维平面。这就是

非线性数

据降维

的目标，它假定流形要比它所在的全维度空间简单，然后试图将其展开。

流形能够展开的关键在于，即使一个大的流形看上去非常复杂，但它的每个数据点的邻近

区域通常可以非常好地近似为一块平面。换句话说，可以通过多个小平面使用局部结构组

成全局结构。

3

非线性数据降维也称为

非线性嵌入

或

流形学习

。非线性嵌入可以非常有效地

注

1

：

本章的写作灵感来自于和

Ted Dunning

的一段对话，他是一位活跃的

Apache

贡献者和知名作家。本

章中的堆叠示例就是

Ted

提供的，他还对本章的写作方法提供了很多有益的建议。如果有人想找个合

著者写作一些单独的章节，那么

Ted

就是你应该找的人。

注

2

：

在本章中，我们将交替使用“曲面”和“流形”这两个词。我们可以很好地类推到嵌入在三维空间中

的二维流形，但超过三维之后就不可行了。高维流形不符合我们对“曲面”的通常理解。有些非常奇 ...