精通特征工程

90

｜

第

6

章

公式

6-11

　

PCA+

白化

W

white

=

V

k

Σ

k

-

1

Z

white

=

XV

k

Σ

k

-

1

=

U

Σ

V

T

V

k

Σ

k

-

1

=

U

k

白化与数据降维是彼此独立的，可以分别进行。例如，

零相位成分分析

（

zero-phase

component analysi

，

ZCA

）（

Bell and Sejnowski, 1996

）是一种与

PCA

联系非常紧密的白化

转换，但它不会减少特征的数量。

ZCA

白化使用未削减的整个主成分集合，还要再乘上一

个

V

T

（见公式

6-12

）。

公式

6-12

　

ZCA

白化

W

ZCA

=

V

Σ

-

1

V

T

Z

ZCA

=

XV

Σ

-

1

V

T

=

U

Σ

V

T

V

Σ

-

1

=

U

简单的

PCA

投影（见公式

6-10

）可以在新特征空间中以主成分为基生成坐标。这些坐标

只表示投影向量的长度，不表示方向。乘以主成分之后，才能得到长度和方向。另一个合

理解释是，这次相乘可以将坐标旋转回初始特征空间。（

V

是一个正交矩阵，正交矩阵可

以对输入进行没有拉伸和压缩的旋转。）所以，

ZCA

生成的白化数据与初始数据是最接近

的（用欧氏距离衡量）。

6.5

　

PCA

的局限性与注意事项

在使用

PCA

进行数据降维时，必须确定要使用的主成分的数目（

k

）。和所有超参数一样，这

个数目可以根据最终模型的质量来进行优化，但也有一些不需要昂贵计算成本的启发式方法。

选择

k

的一种可行方法是要求主成分能解释一定比例的总方差。（

scikit-learn

的

PCA

包中有

这个选项。）在

k

个主成分上的投影的方差为：

22

2

kk

kk

Xv u

σσ

==

这个方差就是

X

第

k

大奇异值的平方 ...