
186
|
第
5
章
假正例率的困惑
假正例(负例)率经常与特异度或灵敏度混为一谈(甚至是在出版物和软件
中)。有时候假正例率被定义为被检验为正例的真负例的比例。在很多情况
下,比如在网络入侵检测中,这个名词用来表示实际为真负例的正例信号的
比例。
5.4.6
提升度
与简单的准确率相比,使用
AUC
作为模型评估指标是一个进步,因为分类器需要识别出
更多重要的
1
,而
AUC
可以对分类器的这种需求与总体准确率之间的权衡处理效果进行评
定。但是,
AUC
不能完全解决稀有类问题
。在这种问题中,你需要将模型的概率临界值降
低到
0.5
以
下,以避免将所有记录分类为
0
。在这种情况下,如果要将一条记录分类为
1
,
那么概率为
0.4
、
0.3
或者更低就足够了
。实际上,我们过度识别
1
了,这会让
1
显得更加
重要。
改变这个临界值会增加捕获
1
的机会
(代价就是会将更多的
0
误分类为
1
)。那么,最佳的
临界值是多少呢?
提升度(
lift
)这个概念可以回答这个问题
。来看一下按照为
1
的预测概率排序的记录。假
如前
10%
的记
录分类为
1
,那么与盲选相比,这种算法能有多大的提升呢?如果能在这个
10%
的区间内得到
0.3%
的响应
,那么与能在总体中得到
0.1%
的响应的随机选择相比,算
法在第一个
10%
区间
内的
提升度
(也称为
增益
)就是
3
。提升度图(增益图)在数据范围
内对这种提升进行了量化,它可以以
10%
区间为单位逐段生成
,也可以在数据范围内连续
生成。
要计算出提升度图,首先要生成
累积增益图
,它的
y
轴是召回率,
x
轴是记录总数。
提升
曲线
(
lift
curve
)表示累积增益与对角线(对应于随机选择)的比率 ...