
分类
|
187
使用提升曲线可以看出设置不同概率临界值来将记录分类为
1
所产生的结果,它可以作为
一种中间步骤,以确定一个合适的临界值水平。例如,一位税务官员在税务审计方面能花
费的资源有限,所以他想把它们花费在最有可能出现偷税漏税的地方。考虑到这种资源限
制,这个税务官员可以使用一个提升度图估计出一个标准,以确定对哪些完税申报进行审
计,而对其余申报置之不理。
本节要点
•
准确率(分类预测中正确预测的百分比)只是评估模型的第一步。
•
其他指标(召回率、特异度、精确度)关注的是更加具体的性能特征,例如,召回
率测量的是模型能正确识别出
1
的程度。
• AUC
(
ROC
曲线下的面积)是一种常用的度量方式,它衡量的是模型将
1
和
0
区
分开来的能力。
•
类似地,提升度衡量的是模型识别出
1
的有效性,通常是从最有可能的
1
开始,依
次按照
10%
的区间进行计算。
5.4.7
扩展阅读
对模型的评估通常与具体的模型(比如
K
最近邻或决策树)有关。以下三本书专门用一章
对这个主题进行了介绍。
• Ian Whitten
、
Eibe
Frank
和
Mark Hall
合著的《数据挖掘:实用机器学习工具与技术(第
3
版
)》。
• Benjamin Baumer
、
Daniel Kaplan
和
Nicholas Horton
合著的
Modern Data Science with R
。
• Galit Shmueli
、
Peter Bruce
、
Nitin Patel
、
Peter Gedeck
、
Inbal
Yahav
和
Kenneth
Lichtendahl ...