精通特征工程

150

｜

附录

A

线性独立

x

和

y

是线性独立的，如果对任意标量常数

c

都有

x ≠

c

y

。

内积

<

x

,

y

> =

x

1

y

1

+

x

2

y

2

+

…

+

x

n

y

n

正交向量

两个向量

x

和

y

是正交的，如果

<

x

,

y

> = 0

。

子空间

一个更大向量空间中的向量子集，满足以下

3

个条件。

(1)

包含

0

向量。

(2)

如果包含向量

v

，则包含所有向量

c

v

，其中

c

是个标量。

(3)

如果包含两个向量

u

和

v

，则包含向量

u

+

v

。

基

能张成一个子空间的向量集合。

正交基

基

{

v

1

,

v

2

,

…

,

v

n

}

，其中对于所有

i,j

，都有

<

v

i

,

v

j

> = 0

。

子空间的秩

能张成子空间的线性独立基向量的最小数目。

A.2.2

　奇异值分解

（

SVD

）

矩阵对输入向量进行线性变换。线性变换非常简单和受限，由此可知矩阵不能随意地操作

子空间。线性代数中一个最有趣的定理说明，所有方阵（不管其中包含什么数值）都可以

将一组特定向量通过某种放缩映射回它们本身。对更为一般的长方形矩阵，它可以将一组

输入向量映射为相应的输出向量，它的

转置

可以将这些输出向量映射回原来的输入向量。

用数学术语表示就是方阵具有与特征值对应的特征向量，长方形矩阵具有与奇异值对应的

左奇异向量和右奇异向量。

特征向量与奇异向量

令

A

是一个

n

×

n

矩阵。如果存在一个向量

v

和一个标量

λ

，使得

Av

=

λ

v

，则称

v

是

A

的一个

特征向量

，

λ

是

A

的一个

特征值

。

令

A

是一个长方形矩阵。如果存在向量

u

和向量

v

以及一个标量

σ

，使得

Av

=

σ

u

且

A

T

u

=

σ

v

，则称

u

和

v

是

A

的

左奇异向量

和

右奇异向量

，

σ

是

A

的一个

奇异值

。

矩阵奇异值分解的数学表示形式如下： ...