
统计机器学习
|
205
树模型就是一组“
if-then-else
”规则的集合,很好理解,实现也非常简单。与线性回归和
逻辑回归相比,树具有发现数据中隐藏模式的能力,这些模式对应于数据中复杂的交互作
用。与
KNN
或朴素贝叶斯方法不同
,简单的树模型可以用预测变量之间的关系表达出来,
这非常易于解释。
运筹学中的决策树
在决策科学与运筹学中,
决策树
这个词有另一种(更加古老的)意义,它表
示的是一种人工的决策分析过程。在这个意义中,决策点、可能结果以及它
们的估计概率都被放在一张分支图中,并选择期望值最大的决策路径。
6.2.1
一个简单的例子
R
中拟合树模型的两个主要的包是
rpart
和
tree
。下面使用
rpart
包,在有
3000
条记录的
贷款数据样本上拟合一个模型,使用的变量是
payment_inc_ratio
和
borrower_score
(参
见
6.1
节中的数据描述)
。
library(rpart)
loan_tree <- rpart(outcome ~ borrower_score + payment_inc_ratio,
data=loan3000, control=rpart.control(cp=0.005))
plot(loan_tree, uniform=TRUE, margin=0.05)
text(loan_tree)
sklearn.tree.DecisionTreeClassifier
也提供了一种决策树实现。
dmba
包中还有一个非常
方便的函数,可以在
Jupyter
笔记本中创建决策树的可视化表示。 ...