
186
|
第
6
章
算法的预测值可以使用
predict 函数得到。由于在本例中只使用了两个变量,因此只绘制
预测变量和预测值。
pred <- predict(xgb, newdata=predictors)
xgb_df <- cbind(loan3000, pred_default=pred>.5, prob_default=pred)
ggplot(data=xgb_df, aes(x=borrower_score, y=payment_inc_ratio,
color=pred_default, shape=pred_default)) +
geom_point(alpha=.6, size=2)
结果如图
6-9
所示。从定性的角度来看,算法的输出类似于图
6-7
中随机森林做出的预测。
在预测中存在一些噪声,因为有些借贷信用评分很高的借款者仍被预测为拖欠。
图 6-9:将 XGBoost 应用于贷款拖欠数据得到的预测结果
6.4.3
正则化
:
避免过拟合
如果盲目地应用 xgboost 函数,可能会
过拟合
训练数据,进而导致模型不稳定。过拟合问
题是两方面的。
•
应用于不在训练集中的新数据时,模型的正确率会降低。
•
模型给出的预测是高度可变的,导致了结果不稳定。
任何建模技术都可能产生过拟合。例如,如果回归方程中包含了过多的变量,那么模型可
能会给出虚假预测。然而对于大多数统计技术而言,可以通过审慎地选择预测变量来避免
产生过拟合。即便是随机森林,通常也能给出一个合理的模型,而无须调整参数。但这并 ...