Macheine Learning Yearning学习笔记(六)
Macheine Learning Yearning学习笔记(六)
Chapter 33~Chapter 35详细讨论了与人类水平表现的比较
Chapter 33、Why we compare to human-level performance(为什么我们要比较人类水平的表现)
很多机器学习系统旨在帮助人类做事情。例如图像识别，语音识别，以及垃圾邮件分类。学习算法也提高了很多，我们现在能够在越来越多的任务中超越人类的表现。
此外，如果你正在试图做一项人类可以完成很好的任务，那么构建机器学习系统并不难，有如下几个原因：
(1)容易从人类标签获取数据。例如，由于人们可以很好的识别猫图，人们可以为学习算法提供高精度的标注数据。
(2)错误分析可以利用人类的直觉。假设一个语音识别算法比人类识别更差。假设它错误的将一段音频剪辑转录为“This recipe calls for a pear of apples”，将“pair”错称为“pear”。你可以利用人类的直觉，并试图去理解一个人用什么信息去获取正确的转录，并用这些知识来获取学习算法。
(3)使用人类级别的性能去评估最优错误率并设置“期望错误率”。假设你的算法在一项任务中取得了10%的错误率，但是人的错误率达到2%。然后我们知道最优错误率是2%甚至更低，可避免偏差至少8%。因此，你应该尝试减少偏差的方法。
即使第三项听起来没有那么重要，但我发现有一个合理且可实现的目标错误率有助于加速团队的进度。知道你的算法有高可避免偏差是非常有意义。
有一些甚至人类都不能很好胜任的任务。例如，挑选一本书推荐给你；或挑选一条广告在网站上显示给用户；或预测股市。计算机已经超过大多数人在这些任务上的表现。这些应用，我们会遇到以下问题：
(1)很难获得标签。例如，标注者很难用“最佳”书签推荐标注用户数据库。如果你使用网站或app售书，你可以通过向用户展示图书并查看他们的购买内容来获得数据。如果你不在这样一个网站上操作，你需要去寻找更有创意的方式去获取数据。
(2)很难指望人类的直觉。例如，几乎没有人能预测股市。所以，如果你我们的股票预测算法并不比随机猜测要好，那么很难知道该如何改进它。
(3)很难知道最佳错误率和合理的期望错误率是多少。假设你已经有一个做的很好的图书推荐系统。你如何知道在没有人类baseline的情况下它还能提高多少？
Chapter 34、How to define human-level performance(如何定义人类的表现)
假设你正在从事一项医疗影像应用，该应用可以根据X光图像自动做出诊断。除了一些基本的训练之外，一个之前没有医学背景的典型人员在这项任务上可达到15%的误差。初级医生可以达到10%的错误率。有经验的医生可达到5%的错误率。小组医生讨论并辩论每一张图像可达到2%的错误率。这些错误率中的哪一个定义为“人类的表现”呢？
在这种情况下，我会使用2%作为我们最优错误率的人类表现代理。你也可以将2%设为期望性能水平，因为上一章中与人类水平性能比较的三个原因均适用：
(1)容易从标注人员中获取标注数据。你可以让一小组医生为你提供标签，错误率为2%。
(2)错误分析可以利用人类的直觉。通过与一组医生讨论图像，你可以获取他们的直觉。
(3)使用人类级别的性能去评估最优错误率并设置可达到的“期望错误率”。使用2%的错误率作为我们对最优错误率的估计是合理的。最优错误率可能比2%更低，但不会更高，因为一组医生可以达到2%的错误率。相反，使用5%或10%作为最优错误率 估计是不合理的，因为我们知道这些评估必然过高。
当你来获取标注数据时，你可能不想和整个小组的医生讨论每一张图片，因为他们的时间很昂贵。或许你可以在绝大多数情况下拥有一个初级医生的标签，并且只给更有经验的医生或一组医生更难的图像。
如果你的系统当前错误率为40%，那么使用初级医生（10%错误）还是有经验的医生（5%错误）来标注数据并提供直觉并不重要。但如果你的系统已经是10%的错误率了，那么将定义人类水平的参考为2%会给你更好地工具来继续改进你的系统。
参考:
1.http://www.mlyearning.org/
2.https://xiaqunfeng.gitbooks.io/machine-learning-yearning/content/
END
▼
往期精彩回顾
▼
书籍推荐：Machine Learning Yearning
温馨提示
如果你喜欢本文，请分享到朋友圈。更多AI入门系列教程，请关注小白人工智能入门学习。