专栏首页SAMshareMachine Learning-模型评估与调参 ——嵌套交叉验证

Machine Learning-模型评估与调参 ——嵌套交叉验证

嵌套交叉验证(nested cross validation)选择算法(外循环通过k折等进行参数优化,内循环使用交叉验证),对特定数据集进行模型选择。Varma和Simon在论文Bias in Error Estimation When Using Cross-validation for Model Selection中指出使用嵌套交叉验证得到的测试集误差几乎就是真实误差。

嵌套交叉验证外部有一个k折交叉验证将数据分为训练集和测试集,内部交叉验证用于选择模型算法。

下图演示了一个5折外层交叉沿则和2折内部交叉验证组成的嵌套交叉验证,也被称为5*2交叉验证:

我们还是用到之前的数据集,相关包的导入操作这里就省略了。

SVM分类器的预测准确率代码实现:

 1gs = GridSearchCV(estimator=pipe_svc,
 2                  param_grid=param_grid,
 3                  scoring='accuracy',
 4                  cv=2)
 5
 6# Note: Optionally, you could use cv=2 
 7# in the GridSearchCV above to produce
 8# the 5 x 2 nested CV that is shown in the figure.
 9
10scores = cross_val_score(gs, X_train, y_train, scoring='accuracy', cv=5)
11print('CV accuracy: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))
CV accuracy: 0.965 +/- 0.025

决策树分类器的预测准确率代码实现:

1from sklearn.tree import DecisionTreeClassifier
2
3gs = GridSearchCV(estimator=DecisionTreeClassifier(random_state=0),
4                  param_grid=[{'max_depth': [1, 2, 3, 4, 5, 6, 7, None]}],
5                  scoring='accuracy',
6                  cv=2)
7scores = cross_val_score(gs, X_train, y_train, scoring='accuracy', cv=5)
8print('CV accuracy: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))
CV accuracy: 0.921 +/- 0.029

从上面的两种算法的结果可以选择出最优的算法哦~

—End—

本文分享自微信公众号 - SAMshare(gh_8528ce7b7e80),作者:阿Sam

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 推荐收藏 | 掌握这些步骤,机器学习模型问题药到病除

    这篇文章提供了可以采取的切实可行的步骤来识别和修复机器学习模型的训练、泛化和优化问题。

    Sam Gor
  • 一篇值得悟一悟的机器学习模型应用之道

    当你有了一个相当不错的模型结果了,这个时间就需要上线应用了,但实际上这个过程也是需要注意很多东西的呢,比如汇报你的项目结果、上线计划沟通、上线后的监控等等,都是...

    Sam Gor
  • Machine Learning-模型结果的应用之道

    当你有了一个相当不错的模型结果了,这个时间就需要上线应用了,但实际上这个过程也是需要注意很多东西的呢,比如汇报你的项目结果、上线计划沟通、上线后的监控等等,都是...

    Sam Gor
  • 交叉验证

    版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。

    week
  • [机器学习必知必会]交叉验证

    当我们根据数据训练出一个机器学习模型时,我们希望它在新的数据上也保持较高的准备率,这就需要我们对学习到的不同模型有一个模型评估准则。

    TOMOCAT
  • KFold交叉验证

    from sklearn.model_selection import KFold

    润森
  • DOM(W3C)

    W3C对DOM的定义是:“一个与系统平台和编程语言无关的接口,程序和脚本可以通过这个接口动态地对文档的内容、结构和样式进行访问和修改。” 换句话说,这是表示和处...

    py3study
  • 硬核灭蚊,全球首款AI蚊子定位装置问世

    Bzigo是一家位于以色列的人工智能公司,他们设计出了一种将AI、激光指示器和摄像头结合在一起的Bzigo激光定位系统,可以自动跟踪房屋内的任何蚊子。

    AiTechYun
  • guestfs这么强大你知道吗

    libguestfs 是Redhat开源的一组工具集,主要用来访问和修改虚拟机的磁盘。其功能非常强大,我们常用的监控虚拟机磁盘使用率、P2V、V2V、备份克隆虚...

    虚拟化云计算
  • 机器学习入门 6-4 实现线性回归中的梯度下降法

    本系列是《玩转机器学习教程》一个整理的视频笔记。本小节主要介绍如何在线性回归中使用梯度下降法以及将梯度下降法封装在我们自己创建的线性回归类中。

    触摸壹缕阳光

扫码关注云+社区

领取腾讯云代金券