
182
|
第
7
章
petal length (cm) 0.441030464364
petal width (cm) 0.423357996355
同样,如果在 MNIST 数据集上训练随机森林分类器(在第 3 章中介绍)并绘制每个像
素的重要性,则会得到如图 7-6 所示的图像。
非常重要
不重要
图 7-6:MNIST 像素的重要性(根据随机森林分类器)
随机森林非常便于你快速了解哪些特征是真正重要的,特别是在需要执行特性选择时。
7.5 提升法
提升法(boosting,最初被称为假设提升)是指可以将几个弱学习器结合成一个强学习器
的任意集成方法。大多数提升法的总体思路是循环训练预测器,每一次都对其前序做出
一些改正。可用的提升法有很多,但目前最流行的方法是
AdaBoost
注 13
(
Adaptive Boosting
的简称)和梯度提升。我们先从 AdaBoost 开始介绍。
1
7.5.1 AdaBoost
新预测器对其前序进行纠正的方法之一就是更多地关注前序欠拟合的训练实例,从而使
新的预测器不断地越来越专注于难缠的问题,这就是 AdaBoost 使用的技术。
例如,当训练 AdaBoost 分类器时,该算法首先训练一个基础分类器(例如决策树),并
使用它对训练集进行预测。然后,该算法会增加分类错误的训练实例的相对权重。然
后,它使用更新后的权重训练第二个分类器,并再次对训练集进行预测,更新实例权
重,以此类推(见图 7-7)。
注 13 :Yoav Freund 和 Robert E. Schapire, ...