专栏首页AI小白入门Macheine Learning Yearning学习笔记(六)

Macheine Learning Yearning学习笔记(六)

Chapter 33~Chapter 35详细讨论了与人类水平表现的比较


Chapter 33、Why we compare to human-level performance(为什么我们要比较人类水平的表现)

很多机器学习系统旨在帮助人类做事情。例如图像识别,语音识别,以及垃圾邮件分类。学习算法也提高了很多,我们现在能够在越来越多的任务中超越人类的表现。

此外,如果你正在试图做一项人类可以完成很好的任务,那么构建机器学习系统并不难,有如下几个原因:

(1)容易从人类标签获取数据。例如,由于人们可以很好的识别猫图,人们可以为学习算法提供高精度的标注数据。

(2)错误分析可以利用人类的直觉。假设一个语音识别算法比人类识别更差。假设它错误的将一段音频剪辑转录为“This recipe calls for a pear of apples”,将“pair”错称为“pear”。你可以利用人类的直觉,并试图去理解一个人用什么信息去获取正确的转录,并用这些知识来获取学习算法。

(3)使用人类级别的性能去评估最优错误率并设置“期望错误率”。假设你的算法在一项任务中取得了10%的错误率,但是人的错误率达到2%。然后我们知道最优错误率是2%甚至更低,可避免偏差至少8%。因此,你应该尝试减少偏差的方法。

即使第三项听起来没有那么重要,但我发现有一个合理且可实现的目标错误率有助于加速团队的进度。知道你的算法有高可避免偏差是非常有意义。

有一些甚至人类都不能很好胜任的任务。例如,挑选一本书推荐给你;或挑选一条广告在网站上显示给用户;或预测股市。计算机已经超过大多数人在这些任务上的表现。这些应用,我们会遇到以下问题:

(1)很难获得标签。例如,标注者很难用“最佳”书签推荐标注用户数据库。如果你使用网站或app售书,你可以通过向用户展示图书并查看他们的购买内容来获得数据。如果你不在这样一个网站上操作,你需要去寻找更有创意的方式去获取数据。

(2)很难指望人类的直觉。例如,几乎没有人能预测股市。所以,如果你我们的股票预测算法并不比随机猜测要好,那么很难知道该如何改进它。

(3)很难知道最佳错误率和合理的期望错误率是多少。假设你已经有一个做的很好的图书推荐系统。你如何知道在没有人类baseline的情况下它还能提高多少?


Chapter 34、How to define human-level performance(如何定义人类的表现)

假设你正在从事一项医疗影像应用,该应用可以根据X光图像自动做出诊断。除了一些基本的训练之外,一个之前没有医学背景的典型人员在这项任务上可达到15%的误差。初级医生可以达到10%的错误率。有经验的医生可达到5%的错误率。小组医生讨论并辩论每一张图像可达到2%的错误率。这些错误率中的哪一个定义为“人类的表现”呢?

在这种情况下,我会使用2%作为我们最优错误率的人类表现代理。你也可以将2%设为期望性能水平,因为上一章中与人类水平性能比较的三个原因均适用:

(1)容易从标注人员中获取标注数据。你可以让一小组医生为你提供标签,错误率为2%。

(2)错误分析可以利用人类的直觉。通过与一组医生讨论图像,你可以获取他们的直觉。

(3)使用人类级别的性能去评估最优错误率并设置可达到的“期望错误率”。使用2%的错误率作为我们对最优错误率的估计是合理的。最优错误率可能比2%更低,但不会更高,因为一组医生可以达到2%的错误率。相反,使用5%或10%作为最优错误率 估计是不合理的,因为我们知道这些评估必然过高。

当你来获取标注数据时,你可能不想和整个小组的医生讨论每一张图片,因为他们的时间很昂贵。或许你可以在绝大多数情况下拥有一个初级医生的标签,并且只给更有经验的医生或一组医生更难的图像。

如果你的系统当前错误率为40%,那么使用初级医生(10%错误)还是有经验的医生(5%错误)来标注数据并提供直觉并不重要。但如果你的系统已经是10%的错误率了,那么将定义人类水平的参考为2%会给你更好地工具来继续改进你的系统。


参考:

1.http://www.mlyearning.org/

2.https://xiaqunfeng.gitbooks.io/machine-learning-yearning/content/

END

往期精彩回顾

书籍推荐:Machine Learning Yearning

自然语言处理基础技术工具篇之Flair

“达观杯”挑战赛,第四名解决方案

温馨提示

如果你喜欢本文,请分享到朋友圈。更多AI入门系列教程,请关注小白人工智能入门学习

本文分享自微信公众号 - AI小白入门(StudyForAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用python+tkinter开发一个简单的学生管理系统

    小草AI
  • 实习杂记(21):LocalBroadcastManager的使用、优点在哪里?

           它来自Android 的support包,类名是android.support.v4.content.LocalBroadcastManager...

    wust小吴
  • 实习杂记(27):android中关于横竖屏切换的那些事

    关于Android中Activity的横竖屏切换问题可以通过AndroidManifest.xml文件中的Activity来配置:

    wust小吴
  • opencv 8 --背景减除 -- BackgroundSubtractorMOG2

    例如顾客统计,使用一个静态摄像头来记录进入和离开房间的人数;或者是交通摄像头,需要提取交通工具的信息等。

    wust小吴
  • python算法与数据结构-栈(43)

      栈作为一种数据结构,是一种只能在一端进行插入和删除操作。它按照先进后出的原则存储数据,先进入的数据被压入栈底,最后的数据在栈顶,需要读数据的时候从栈顶开始弹...

    Se7eN_HOU
  • Appium+python自动化(十三)- 输入中文 - 一次填坑记(超详解)

    无论你在哪里,在做什么都会遇到很多坑,这些坑有些事别人挖的,有些是自己挖的。别人挖的叫坑人,自己挖的叫自杀,儿子挖的叫坑爹。因此在做app自动化道路上也...

    北京-宏哥
  • opencv 9 -- 轮廓 层次结构

    使用函数 cv2.findContours 来查找轮廓, 我们需要传入一个参数:轮廓提取模式(Contour_Retrieval_Mode)。 我们总是...

    wust小吴
  • Appium+python自动化(十二)- Android UIAutomator终极定位凶器(超详解)

    乍眼一看,小伙伴们觉得这部分其实在异性兄弟那里就做过介绍和分享了,其实不然,上次介绍和分享的大哥是uiautomatorviewer,是一款定位工具...

    北京-宏哥
  • 深入剖析Mean Shift聚类算法原理

    Mean Shift在计算机视觉领域的应用非常广,如图像分割,聚类和视频跟踪,小编曾经用Mean Shift实现目标跟踪,效果还不错。本文详细的总结了Mean ...

    小草AI
  • SAP ABAP实用技巧介绍系列之 ABAP XSLT 定义变量

    header变量的内容为一系列html tab,而color为一个简单的字符串. 在xslt program里使用$引用变量的内容:

    Jerry Wang

扫码关注云+社区

领取腾讯云代金券