
统计机器学习
|
181
随机森林方法是一种“黑箱”方法。与单个简单树模型相比,随机森林可以做出更准确的
预测,但是丧失了单个树模型的直观决策规则。随机森林的预测也存在某种程度的噪声。
我们可以注意到,一些借款者的分值非常高,这表明他们虽然具有较高的信用,但最终预
测依然是贷款拖欠。这是由数据中的一些异常记录所导致的,也展示了随机森林过拟合的
危险(参见
6.1.5
节中的知识点“偏差与方差的权衡”)。
6.3.3
变量的重要性
在为具有多个特征和记录的数据构建预测模型时,随机森林算法的强大得以尽显。该算法
可以自动确定重要的预测变量,并可以发现交互项所对应的预测变量之间的复杂关系(参
见
4.5.4
节)。例如,下面的代码在拟合模型时,使用了具有全部列的贷款拖欠数据。
> rf_all <- randomForest(outcome ~ ., data=loan_data, importance=TRUE)
> rf_all
Call:
randomForest(formula = outcome ~ ., data = loan_data, importance = TRUE)
Type of random forest: classification
Number of trees: 500
No. of variables tried at each split: 3
OOB estimate of error rate: 34.38%
Confusion matrix:
paid ...