
分类
|
159
对多数类做欠采样就会存在丢弃一些有用信息的风险。在这种情况下,我们不应对多数类做
欠采样,而应使用有放回的自助法去抽取更多的数据,实现对稀有类的过采样(上采样)。
我们可以通过对数据加权得到类似的效果。很多分类算法采用权重参数,让你可以增减数
据的权重。例如,下面的命令使用 glm 函数的 weight 参数,为贷款数据添加了权重向量。
wt <- ifelse(full_train_set$outcome=='default',
1/mean(full_train_set$outcome == 'default'), 1)
full_model <- glm(outcome ~ payment_inc_ratio + purpose_ +
home_ + emp_len_+ dti + revol_bal + revol_util,
data=full_train_set, weight=wt, family='quasibinomial')
pred <- predict(full_model)
mean(pred > 0)
[1] 0.5767208
其中,贷款拖欠的权重设为 ,其中
p
是贷款拖欠的概率。非拖欠贷款的权重设为
1
。拖
欠贷款和非拖欠贷款的权重之和大致相等。现在,预测值的均值是
57.7%
,不再是
0.39%
。
注意,添加权重是对稀有类做过采样和对多数类做欠采样的一种替代方法。
修改损失函数
许多分类和回归算法的优化目标是某一标准或
损失函数
。例如,逻辑回归的目 ...