精通特征工程

148

｜

附录

A

举个例子，如图

A-4

所示，一个

3

×

2

的矩阵可以将一个二维正方形转换为三维空间中的

菱形。它将输入空间中的每个向量进行了旋转和拉伸，在输出空间形成了新的向量。

二维到三维的矩阵变换

矩阵

图 A-4：二维到三维的矩阵变换

A.2.1

　从向量到子空间

为了理解线性算子，必须看看它是如何将输入转换为输出的。幸运的是，我们不用每次只

分析一个输入向量。向量可以构成子空间，

线性算子可以操作向量子空间

。

子空间是满足两个条件的一组向量。首先，如果它包含一个向量，那么就包含从原点到这

个点的直线。其次，如果它包含两个点，那么就包含这两个向量的所有线性组合。线性组

合是两种类型操作的组合：用标量乘以向量，以及两个向量相加。

子空间的一个重要特性是

秩

，或称维度，它是这个空间中自由度的度量。直线的秩是

1

，二

维平面的秩是

2

，以此类推。如果你能想象出多维空间中一只多维度的鸟，那么子空间的秩

就可以告诉我们这只鸟可以沿着多少个“独立的”方向自由飞翔。这里的“独立”指的是

“线性独立”：如果一个向量不能表示成另一个向量与一个常数的乘积形式，就可以说这两

个向量是线性独立的（也就是说，这两个向量的方向不是完全相同，也不是完全相反）。

子空间可以定义为一组

基向量

的张成。（张成是个技术术语，用来描述由一组向量的所有

线性组合构成的集合。）一组向量的张成就是它的线性组合（因为就是这么定义的）。所

以，如果我们有一组基向量，就可以用任意非零常数乘以这些向量，或把它们相加，得到

另一组基。

如果有更加唯一和可识别的基来描述子空间，那将是非常好的。由一组单位长度而且彼此 ...