专栏首页应兆康的专栏7. 开发集和测试集应该多大?
原创

7. 开发集和测试集应该多大?

7 开发集和测试集应该多大?

开发集应该足够大,大到可以检测出不同算法之间的差异。比如:如果分类器A的精度为90.0%,分类器B精度为90.1%。如果你的开发集只有100条,那么你可能检测不出这0.1%的差异,与其它机器学习的问题相比,100条数据很小,常见的开发集数据规模在1000到10000条之间。数据量越高,模型之间的差异越明显。[2]

对于一些成熟的重要应用来说(如:广告推荐,网页推荐,产品推荐等)。我经常看到团队在为0.01%的性能提升而奋斗,因为这直接影响到了公司的利润。在这种情况下,开发集的数据量可能远远超过10000条,只为了对算法进行改进。

测试集要多大?它也应该足够大,大到你有一个很高自信度去对系统的整体性能进行评估。这里有一个方法:将30%的数据用于测试。在你拥有一个中等(100到10000个样本)数据量的情况下,它的效果不错。但是在大数据的时代下,我们面对的机器学习问题数据量可能会超过10亿条样本,开发集与测试集之间的比例一直在减小,但是开发与测试集的绝对数量在增加。在给开发集和数据集分配时,没必要过多的进行分配。

[2] 理论上,如果一个算法的变化差异符合统计学上的某种变化,那么我们可以进行测试。在实践中,大多数团队都会这样做(除非它们发表论文)。而我没有发现用于统计意义上的测试。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 开发集和测试集应该多大?

    YingJoy_
  • 11. 什么时候更改开发/测试集和评估指标

    当开始一个新项目的时候,我会试图快速的选择开发/测试集,因为这样可以给团队一个很明确的目标。 我通常会要求我的团队在不到一周的时间内(几乎不会超过这个时间)提供...

    YingJoy_
  • 11. 什么时候更改开发/测试集和评估指标

    YingJoy_
  • 开发集和测试集应该多大?

    YingJoy_
  • RabbitMQ安装、配置与入门

    版权声明:本文为博主原创文章,欢迎转载。 ...

    程裕强
  • 编写灵活、稳定、高质量的HTML代码的规范

    (1)用两个空格来代替制表符(tab) -- 这是唯一能保证在所有环境下获得一致展现的方法。

    WEBING
  • 【译】现代化的PHP开发--TDD

    来源/https://www.startutorial.com/articles/view/modern-php-developer-tdd 译/Lemon黄...

    Lemon黄
  • java入门踩的坑1 【网络编程】2019年8月10日

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    韩旭051
  • 用数据看王健林怎么”轻松挣一个亿”

    近日王健林做客《鲁豫有约》,不仅带领鲁豫进万达食堂参观,首次开放私人飞机携鲁豫一同出差,更是语出惊人。在谈到对创业者的建议时,王健林表示,想做首富是对的,“但是...

    小莹莹
  • PowerEdge MX搭个SAN网络?So easy~

    在之前的系列文章中,我们已经介绍了PowerEdge MX的超融合实现和未来支持的“可组合架构”,作为融合主流架构之一,SAN网络存储优点多多,部署起来却并不容...

    用户6543014

扫码关注云+社区

领取腾讯云代金券