10. 用开发集和评估指标来加速迭代

对于一个新问题,事先是很难知道用什么方法解决它是最合适的。即使机器学习经验丰富的研究员也需要尝试许多,才能得到令自己满意的东西。在构建机器学习系统时,我经常会:

  1. 首先有一些如何构建系统的想法(idea)。
  2. 用代码实现这些idea。
  3. 进行实验(experiment),来告诉我 我的idea工作的如何。(通常我前几个idea效果不是很好)但是基于这些想法的结果,我会返回去产生更多的idea。并不断的迭代。

这是一个迭代过程,你循环的越快,你的进展也就越快。这就是开发集和评估指标是非常重要的原因:每当你尝试一个新的idea 时,在开发集上衡量idea的表现,可以很清楚的知道你是否朝着正确的方向前进。 相反,如果你没有特定的开发集或评估指标。那么每一次团队开发出一个新的猫咪分类器时,你必须把它移植到你的APP中,然后经过几个小时的体验来感受新分类器的效果是否有提升。这非常慢!此外,如果分类器只有0.1%的提升话,人为可能会感受不到这个提升。你的系统通过不断积累0.1%的提升从而得到一个很大的提升。有一个开发集和评估指标,可以让你很快的检测出那些想法给你的系统带来了提升,你就可以快速的决定可以对哪些想法进一步的完善,哪些想法可以舍弃。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

如何做好数据挖掘模型的9条经验总结

当前的数据挖掘形式,是在20世纪90年代实践领域诞生的,是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非理论,在其过程...

29050
来自专栏AI科技评论

业界 | 想要快速的搭建高性能机器学习系统,企业应该怎么干?

AI科技评论按:本文为「范式大学系列课程」。Web服务器部署在云上已经算是常见的事情了,那么机器学习系统如何呢? ? 亚马逊AWS目前的运维水平成为行业标准,但...

29140
来自专栏数据的力量

如何成为一名卓越的数据科学家——开篇七剑

18150
来自专栏应兆康的专栏

10. 用开发集和评估指标来加速迭代

对于一个新问题,事先是很难知道用什么方法解决它是最合适的。即使机器学习经验丰富的研究员也需要尝试许多,才能得到令自己满意的东西。在构建机器学习系统时,我经常会:

33180
来自专栏程序员互动联盟

多年Java开发研究机器学习技术需要哪些基础?

多年的java开发经验切入到新的领域,需要熟悉的新规则和技巧。 但对于人工智能来说,不是简单的熟悉一下新的规则那么简单的事情了,主要人工智能是一个综合性极强,...

381120
来自专栏ATYUN订阅号

Facebook团队提供视频教程:机器学习指南

Facebook机器学习指南是由Facebook机器学习团队开发的视频系列,由六部分组成。该系列分享了现实世界实践,提供了如何将机器学习功能应用于实际问题的实用...

11130
来自专栏AI科技大本营的专栏

方兴未艾的语音合成技术与应用

作者简介:李秀林,中国科学院博士,15 年语音相关技术研发和学术研究,申请专利三十余项,在国内外语音界有很高的知名度;曾带领团队获得百度百万美元大奖。2006 ...

17840
来自专栏机器之心

业界 | 让人工智能学会谈判,Facebook开源端到端强化学习模型

选自code.facebook 机器之心编译 参与:吴攀、李亚洲 每天从我们醒来的那一刻,生活中就充满了经常性的谈判(negotiations)。这些场景包括讨...

346110
来自专栏人工智能头条

京东DNN实验室:大数据、深度学习与计算平台的实践

21040
来自专栏AI派

如何构建基于内容的推荐系统

基于内容的推荐,最重要的不是推荐算法,而是内容分析。内容分析得越深入,哪怕最开始使用人为定制的规则也能起到不错的效果。

51990

扫码关注云+社区

领取腾讯云代金券