
204
|
第
6
章
6.2
树模型
树模型也称为
分类与回归树
(
classification and regression tree
,
CART
)
3
、
决策树
,或者简称
为
树
,它是一种使用非常普遍的、有效的分类(或回归)方法,最早是由
Leo Breiman
等
人在
1984
年提出的
。树模型以及它们更加强大的派生方法
随机森林
(
random forest
)和
提
升树
(
boosted
tree
)(参见
6.3
节和
6.4
节)构成了回归与分类技术的基础,是数据科学中
使用最广泛、功能最强大的预测建模技术。
本节关键术语
递归分割
对数据以及分割出的子分支反复地进行分割,目的是使最终子分支中的数据尽可能
地具有同质性。
分割值
用来分割数据记录的一个预测变量值,一部分记录中的变量值小于该值,而另一部
分记录中的变量值大于该值。
节点
在决策树或相应的分支规则集合中,节点就是一个分割值的图形表示或规则表示。
叶子
某个
if-then
规则集合或一棵树的分支的终点,到达该叶子节点的规则可以对树中任
一记录进行分类。
损失
在分割过程的某个阶段的错误分类数量。损失越多,不纯度越高。
不纯度
数据的一个子分类中类别混杂的程度(数据越混杂,不纯度越高)。
同义词
异质性
反义词
同质性、纯度
剪枝
对一棵完全生长的树逐次剪掉其分支以消除过拟合的过程。
注
3
:
CART
是
Salford System
公司的一个注册商标,用于该公司与树模型相关的具体实现。