
326
|
第
5
章
方差也变大了(对比训练得分与验证得分的差异即可看出)。如果我们为复杂度更高的模
型继续增加训练数据,那么学习曲线最终也会收敛。
为模型和数据集画出学习曲线,可以帮你找到正确的方向,不断改进学习的效果。
5.3.4
验证实践
:
网格搜索
前面的内容已经让我们对偏差与方差的均衡有了直观的认识,它们与模型的复杂度和训练
集的大小有关。在实际工作中,模型通常会有多个得分转折点,因此验证曲线和学习曲线
的图形会从二维曲线变成多维曲面。这种高维可视化很难展现,因此从图中找出验证得分
的最大值也不是一件简单的事。
Scikit-Learn
在 grid_search 提供了一个自动化工具解决这个问题。下面是用网格搜索寻找
最优多项式回归模型的示例。我们将在模型特征的三维网格中寻找最优值——包括多项式
的次数的搜索范围、回归模型是否拟合截距,以及回归模型是否需要进行标准化处理。我
们可以用
Scikit-Learn
的 GridSearchCV 元评估器来设置这些参数:
In[18]: from sklearn.grid_search import GridSearchCV
param_grid = {'polynomialfeatures__degree': np.arange(21),
'linearregression__fit_intercept': [True, False],
'linearregression__normalize': [True, False]}
grid = GridSearchCV(PolynomialRegression(), ...