Python机器学习基础教程

234

｜

第

5

章

Out[69]:

Grid-Search with AUC

Best parameters: {'gamma': 0.01}

Best cross-validation score (AUC): 0.997

Test set AUC: 1.000

Test set accuracy: 1.000

在使用精度时，选择的参数是 gamma=0.0001，而使用

AUC

时选择的参数是 gamma=0.01。

在两种情况下，交叉验证精度与测试集精度是一致的。但是，使用

AUC

找到的参数设置，

对应的

AUC

更高，甚至对应的精度也更高。

11

对于分类问题，scoring 参数最重要的取值包括：accuracy（默认值）、roc_auc（

ROC

曲

线下方的面积）、average_precision（准确率

-

召回率曲线下方的面积）、f1、f1_macro、

f1_micro 和 f1_weighted（这四个是二分类的

f

1

-

分数以及各种加权变体）。对于回归问题，

最常用的取值包括：r2（

R

2

分数）、mean_squared_error（均方误差）和 mean_absolute_

error（平均绝对误差）。你可以在文档中找到所支持参数的完整列表（

http://scikit-learn.

org/stable/modules/model_evaluation.html#the-scoring-parameter-defining-model-evaluation-

rules

），也可以查看 metrics.scorer ...