精通特征工程

线性建模与线性代数基础

｜

153

数据解释：

不能表示为现有数据点的线性组合的“奇异”数据点。

基：

对应于

0

奇异值的右奇异向量（

V

中的其余列）。

4

.

左零空间

数学定义：

输入向量

u

的集合，其中

u

满足

u

T

A

= 0

。

数学解释：

与

A

中所有列都正交的向量集合。左零空间与列空间是正交的。

数据解释：

不能表示为现有特征的线性组合的“奇异特征向量”。

基：

对应于

0

奇异值的左奇异向量（

U

中的其余列）。

列空间与行空间中的向量是能够被当前观测到的数据和特征表示出来的向量。列空间中的

向量是非奇异的特征，行空间中的向量是非奇异的数据点。

对于建模和预测目的，非奇异是一件好事。一个满秩的列空间意味着特征集合中包含着足

够的信息，可以对任何需要的目标向量进行建模。一个满秩的行空间意味着各个不同的数

据点中包含着足够的变异，可以覆盖特征空间的各个角落。那些奇异的数据点和特征（分

别位于零空间和左零空间中）才是我们需要担心的。

在为数据建立线性模型的应用中，零空间也可以看作“奇异”数据点的子空间。在这里，

奇异性不是什么好事情。奇异的数据点表示那些不能被训练集线性表示的虚幻数据。同

样，左零空间中包含的是不能表示为现有特征的线性组合的奇异特征。

零空间与行空间是正交的。原因很简单，从零空间的定义可知，

w

与

A

中所有行向量的内

积都是

0

。因此，

w

与这些行向量张成的空间（也就是行空间）是正交的。同样，左零空

间与列空间也是正交的。

A.3

　线性系统求解

让我们把这些数学知识应用到当前的问题中：训练线性分类器，这个问题与线性系统求解

联系得非常紧密。我们深入研究了矩阵操作的原理，因为要对其进行逆向工程 ...