17. 如果你有一个很大的开发集,把它分为两个子集,只着眼于其中一个

17. 如果你有一个很大的开发集,把它分为两个子集,只着眼于其中一个

假设你有一个含有5000个样本的大型开发集,其中有20%的错误率。这样,算法对约1000个图片进行错误分类。手动检查1000张图片是非常耗费时间的, 所以我们可能决定在错误分析中不使用所有的图片。 在这种情况下, 我会明确的将开发集分为两个子集,只看其中一个子集,另一个不看。你可能会在你查看的那部分数据中过拟合,此时你可以使用那部分未使用的数据来进行调参。

继续上面的例子,在该例子中算法错误分类5000个开发集样本中的1000个。假设我们想手动检查约100个错误样本(错误分类的10%)进行分析。你应该随机选择10%的开发集,并将其放入我们称之为Eyeball开发集(Eyeball dev set)中,以提醒我们正在使用它。(对于语音识别项目,你的数据集为语音,你需要一个一个听它们,你可以将它们称为Ear dev set)。因此,Eyeball开发集有500个样本,其中我们预计算法会错误分类约100个。 开发集的第二个子集叫做Balckbox开发集(Blackbox dev set),它将拥有剩下的4500个样本。你可以使用Blackbox开发集,通过测量它们的错误率来自动评估分类器。也可以使用它来选择算法或调整参数。但是,你应该避免使用它。我们使用“Blackbox”术语是因为我们只使用数据集的子集来获得分类器的“Blackbox”评估。

为什么我们将开发集明确的分为Eyeball开发集和Blackbox开发集呢?如果你使用Eyeball进行开发的话,你的算法可能会过拟合。如果你发现Eyeball开发集比Blackbox开发集性能提升的更快,你已经过拟合Eyeball开发集。在这种情况下,你可能需要一个新的Eyeball开发集,将更多Blackbox开发集中的样本移至Eyeball中。也可以通过获取新的标注数据来获得。 将开发集明确分为Eyeball和Blackbox然后手动误差分析可以让你知道何时在Eyeball上导致过拟合。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏钱塘大数据

理工男图解零维到十维空间,烧脑已过度,受不了啦!

让我们从一个点开始,和我们几何意义上的点一样,它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有,空间、时间通通不存在,这就是零维度。

32930
来自专栏微信公众号:小白课代表

不只是软件,在线也可以免费下载百度文库了。

不管是学生,还是职场员工,下载各种文档几乎是不可避免的,各种XXX.docx,XXX.pptx更是家常便饭,人们最常用的就是百度文库,豆丁文库,道客巴巴这些下载...

44530
来自专栏haifeiWu与他朋友们的专栏

复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负...

29540
来自专栏FSociety

SQL中GROUP BY用法示例

GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类...

5.1K20
来自专栏Ken的杂谈

【系统设置】CentOS 修改机器名

18030
来自专栏腾讯社交用户体验设计

ISUX Xcube智能一键生成H5

51220
来自专栏怀英的自我修炼

考研英语-1-导学

英二图表作文要重视。总体而言,英语一会比英语二难点。不过就写作而言,英语二会比英语一有难度,毕竟图表作文并不好写。

11810
来自专栏钱塘大数据

中国互联网协会发布:《2018中国互联网发展报告》

在2018中国互联网大会闭幕论坛上,中国互联网协会正式发布《中国互联网发展报告2018》(以下简称《报告》)。《中国互联网发展报告》是由中国互联网协会与中国互联...

13550
来自专栏前端桃园

知识体系解决迷茫的你

最近在星球里群里都有小伙伴说道自己对未来的路比较迷茫,一旦闲下来就不知道自己改干啥,今天我这篇文章就是让你觉得一天给你 25 个小时你都不够用,觉得睡觉都是浪费...

21340
来自专栏腾讯高校合作

【倒计时7天】2018教育部-腾讯公司产学合作协同育人项目申请即将截止!

15720

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励