
统计机器学习
|
183
图
6-8
的上图和下图分别显示了根据正确率的降低和基尼不纯度的降低这两种方法测得的
变量重要性。两个图中的变量都是按正确率从高到低的顺序排列的。这两种测量方式得到
的变量重要性分值完全不同。
既然正确率的降低是更可靠的度量,我们为什么还要使用基尼不纯度的降低这种测量呢?
默认情况下,randomForest 函数只计算基尼不纯度。该算法一定会给出基尼不纯度,但是
计算变量的模型正确率则需要额外进行一些计算,包括随机置换并预测数据。在计算的复
杂度很重要的情况下,例如在需要拟合数千个模型的生产环境中,我们不应额外增加计
算量。此外,基尼不纯度降低揭示了随机森林在生成拆分规则中使用了哪些变量(回想一
下,该信息很容易在单个简单树模型中看到,但是在随机森林中就会丢失)。通过查看基
尼不纯度降低与模型正确率这两种测定变量重要性方法之间的差异,有可能会找出一些改
进模型的方法。
6.3.4
超参数
和许多统计机器学习算法一样,随机森林也可以看成一种“黑箱”算法,但是在箱子上会
提供一些调节算法工作方式的旋钮。我们称这些旋钮为
超参数
。超参数是一些需要在拟合
模型前设置的参数,它们并不会在算法训练过程中得到优化。虽然在传统的统计模型中,
我们需要做出一些选择(例如在回归模型中需要选定预测变量),但是随机森林的超参数
更为关键,尤其对于避免产生过拟合的问题。对于随机森林,我们需要介绍两个重要的超
参数。
nodesize
末端节点(即树的叶子)的最小规模。对于分类,默认值为
1
;对于回归,默认值为
5
。
maxnodes ...