
统计机器学习
|
171
损失
在拆分过程的某一阶段中误分类的个数。损失越大,不纯度越高。
不纯度
表示在数据的一个细分中发现多个类混杂的程度。细分中混杂的类越多,该细分
的不纯度就越高。
同义词:异质性
反义词:同质性、纯度
剪枝
为了降低过拟合,对一棵完全长成树逐步剪枝的过程。
树模型由一组 if-then-else 规则构成,易于理解,也易于实现。树模型不同于回归和逻辑
回归,它可以发现数据中隐含的一些复杂交互模式。简单树模型也不同于
KNN
和朴素贝
叶斯,它可以表示为预测变量之间的关系,易于解释。
运筹学中的决策树
在决策科学和运筹学中,
决策树
一词有着不同(且更古老)的意义,它指的
是人类决策的分析过程。在这种意义下,分支图中绘制的是决策点、可能的
结果以及它们的估计概率,并选择具有最大期望值的决策路径。
6.2.1
一个简单的例子
在
R
语言中,拟合树模型主要使用软件包 rpart 和 tree。下面的代码使用 rpart 软件包,
根据变量 payment_inc_ratio 和 borrower_score 对贷款数据拟合了一个树模型。所使用的
数据是一个具有
3000
条记录的样本(参见
6.1
节 )。
library(rpart)
loan_tree <- rpart(outcome ~ borrower_score + payment_inc_ratio,
data=loan_data, control = rpart.control(cp=.005))
plot(loan_tree, uniform=TRUE, ...