
212
|
第
6
章
6.2.7
扩展阅读
• Analytics Vidhya
网站内容团队发表的博客文章:“
Tree Based Algorithms: A Complete
Tutorial from Scratch (in R & Python)
”。
• Terry M. Therneau
、
Elizabeth
J. Atkinson
和梅奥基金会共同编写的“
An Introduction to
Recursive Partitioning Using the RPART Routines
”。
6.3
装袋法与随机森林
1906
年,统计学家弗朗西斯
•
高尔顿爵士来到了英格兰某县的一个集市上。这里正在进行
一场比赛,竞猜一头正在展览的公牛的体重。一共有
800
人进行猜测
,尽管各个猜测五花
八门,但总体均值与中位数的误差都在公牛真实重量的
1%
之内。
James Surowiecki
在《群
体的智慧》一书中对这种现象进行了研究。这种规律也体现在预测模型中:多个模型的平
均(或进行少数服从多数的投票)——模型的一种
集成
——比仅选择单个模型更加精确。
本节关键术语
集成
使用一个模型集合来得到最终预测。
同义词
模型平均
装袋
一种通用技术,通过对数据进行
Bootstrap
抽样来建立一个模型集合。
同义词
Bootstrap
聚合
随机森林
一种基于决策树模型的装袋估计。
同义词
装袋决策树
变量重要性
对某个预测变量在模型性能方面的重要性的测量。
在多种建模方法上,以及这些方法之间,都可以使用集成方法。使用集成方法的最著名的
例子是
Netflix ...