10. 用开发集和评估指标来加速迭代

对于一个新问题,事先是很难知道用什么方法解决它是最合适的。即使机器学习经验丰富的研究员也需要尝试许多,才能得到令自己满意的东西。在构建机器学习系统时,我经常会:

  1. 首先有一些如何构建系统的想法(idea)。
  2. 用代码实现这些idea。
  3. 进行实验(experiment),来告诉我 我的idea工作的如何。(通常我前几个idea效果不是很好)但是基于这些想法的结果,我会返回去产生更多的idea。并不断的迭代。

这是一个迭代过程,你循环的越快,你的进展也就越快。这就是开发集和评估指标是非常重要的原因:每当你尝试一个新的idea 时,在开发集上衡量idea的表现,可以很清楚的知道你是否朝着正确的方向前进。 相反,如果你没有特定的开发集或评估指标。那么每一次团队开发出一个新的猫咪分类器时,你必须把它移植到你的APP中,然后经过几个小时的体验来感受新分类器的效果是否有提升。这非常慢!此外,如果分类器只有0.1%的提升话,人为可能会感受不到这个提升。你的系统通过不断积累0.1%的提升从而得到一个很大的提升。有一个开发集和评估指标,可以让你很快的检测出那些想法给你的系统带来了提升,你就可以快速的决定可以对哪些想法进一步的完善,哪些想法可以舍弃。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

如何做好数据挖掘模型的9条经验总结

当前的数据挖掘形式,是在20世纪90年代实践领域诞生的,是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非理论,在其过程...

2845
来自专栏人工智能头条

Yann LeCun高端私享会纪实:预测学习才是AI的未来

1753
来自专栏AI科技大本营的专栏

方兴未艾的语音合成技术与应用

作者简介:李秀林,中国科学院博士,15 年语音相关技术研发和学术研究,申请专利三十余项,在国内外语音界有很高的知名度;曾带领团队获得百度百万美元大奖。2006 ...

1444
来自专栏镁客网

英伟达展示逆天PS技术,用人工智能做了n张假明星照片 | 热点

1820
来自专栏AI派

推荐系统中重要却又容易被忽视的问题有哪些

在个性化推荐系统中的绕不开的经典问题有哪些介绍了推荐下中不可避免都会遇到的问题,这里介绍一些不可忽视的一些内容。

3806
来自专栏PPV课数据科学社区

【观点】大数据会给很多人新的机会,但也会让一些经典模型黯然失色

本文是微软亚洲研究院主管研究员 上海交通大学讲座教授郑宇对大数据一些粗浅的看法和认知: 1. 大数据可以消除不同行业之间因为理论差异而带来的鸿沟...

2797
来自专栏机器之心

业界 | 让人工智能学会谈判,Facebook开源端到端强化学习模型

选自code.facebook 机器之心编译 参与:吴攀、李亚洲 每天从我们醒来的那一刻,生活中就充满了经常性的谈判(negotiations)。这些场景包括讨...

34111
来自专栏人工智能头条

京东DNN实验室:大数据、深度学习与计算平台的实践

1984
来自专栏华章科技

数据科学领域的一张网红图

数据科学、机器学习、大数据、认知计算……我们几乎每天都被铺天盖地的关于这些概念的文章和观点包围着。但有一点是肯定的:别妄想一夜成为数据科学家。这条路很漫长,也充...

622
来自专栏AI科技评论

业界 | 想要快速的搭建高性能机器学习系统,企业应该怎么干?

AI科技评论按:本文为「范式大学系列课程」。Web服务器部署在云上已经算是常见的事情了,那么机器学习系统如何呢? ? 亚马逊AWS目前的运维水平成为行业标准,但...

2854

扫码关注云+社区

领取腾讯云代金券