Machine Learning-模型评估与调参 ——嵌套交叉验证

Sam Gor

发布于 2019-08-22 13:28:27

2.6K0

发布于 2019-08-22 13:28:27

文章被收录于专栏：SAMshare

嵌套交叉验证(nested cross validation)选择算法（外循环通过k折等进行参数优化，内循环使用交叉验证），对特定数据集进行模型选择。Varma和Simon在论文Bias in Error Estimation When Using Cross-validation for Model Selection中指出使用嵌套交叉验证得到的测试集误差几乎就是真实误差。

嵌套交叉验证外部有一个k折交叉验证将数据分为训练集和测试集，内部交叉验证用于选择模型算法。

下图演示了一个5折外层交叉沿则和2折内部交叉验证组成的嵌套交叉验证，也被称为5*2交叉验证：

我们还是用到之前的数据集，相关包的导入操作这里就省略了。

SVM分类器的预测准确率代码实现：

 1gs = GridSearchCV(estimator=pipe_svc,
 2                  param_grid=param_grid,
 3                  scoring='accuracy',
 4                  cv=2)
 5
 6# Note: Optionally, you could use cv=2 
 7# in the GridSearchCV above to produce
 8# the 5 x 2 nested CV that is shown in the figure.
 9
10scores = cross_val_score(gs, X_train, y_train, scoring='accuracy', cv=5)
11print('CV accuracy: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))

CV accuracy: 0.965 +/- 0.025

决策树分类器的预测准确率代码实现：

1from sklearn.tree import DecisionTreeClassifier
2
3gs = GridSearchCV(estimator=DecisionTreeClassifier(random_state=0),
4                  param_grid=[{'max_depth': [1, 2, 3, 4, 5, 6, 7, None]}],
5                  scoring='accuracy',
6                  cv=2)
7scores = cross_val_score(gs, X_train, y_train, scoring='accuracy', cv=5)
8print('CV accuracy: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))