专栏首页AI研习社Andrew Ng的《Machine Learning Yearning》中六个重要概念

Andrew Ng的《Machine Learning Yearning》中六个重要概念

Machine Learning Yearning这本书讲述了如何构建机器学习项目。 这本书包含了难以在其他地方找到的实用见解,并且这本书的格式易于与队友和合作者分享。 大多数技术人工智能课程将向您解释不同的ML算法的幕后工作原理,但本书将教您如何实际使用它们。 如果您渴望成为AI的技术的引领者,本书将对您有很大的帮助。 在这之前,学习到如何制定人工智能项目战略性的决策的唯一方法是参加研究生课程或在公司工作获取经验。 Machine Learning Yearning 可以帮助您快速掌握这项技能,使您能够更好地构建复杂的AI系统。

Andrew NG是计算机科学家,执行官,投资人,企业家,也是人工智能领域的领先专家之一。 他是百度的前任副总裁兼首席科学家,是斯坦福大学的兼职教授,是最受欢迎的机器学习在线课程的创建者之一,Coursera.com的联合创始人以及Google Brain的前负责人。 在百度,他的积极参与将人工智能团队扩展到数千人。

简介

这本书从这样一个小故事开始:想象一下,你想建立一个一家公司,它拥有前沿的猫检测系统。目前你已经构建了一个原型系统,但不幸的是,系统性能并不是那么好。 你的团队提出了一些如何改进系统的想法,但你对改良方法的选取感到困惑。 现在,你可以构建世界领先的猫检测器平台,或者在错误的改良方向上浪费几个月的时间。

这本书是告诉你如何在这种情况下决定和优先排序的。 吴恩达曾说过,大多数机器学习问题都会留下许多线索,这些线索会提示你最有用的后续步骤以及你应该避免做什么。吴恩达还接着解释道,在机器学习领域,学习“阅读”这些线索是一项重要的技能。

简而言之,ML Yearning旨在让您深入了解一些改进机器学习项目的技巧性方向。

由于您的团队成员在当你提出新的做事想法时可能会持怀疑态度,因此吴恩达将本章节(简介)进行了缩短(只有1-2页),以便您的团队成员可以在几分钟内阅读它以理解概念背后的想法。如果您有兴趣阅读这本书,请注意它其实并不适合初学者,因为它要求读者对监督的学习和深度学习有基本的了解。

在这篇短文中,根据我的理解,我将用我自己的表达方式来分享这本书的六个概念。

概念1:迭代,迭代,迭代......

NG(吴恩达)在整本书中都在强调,快速迭代是至关重要的,因为机器学习是一个迭代过程。您应该尽可能快地为您的问题构建构建一个简单的原型,而不是考虑如何打造更加完美的ML(机器学习)系统。如果您不是机器学习问题领域的专家,则更应该这样做,因为要正确地猜测最有希望的方向是非常困难的。

您应该在短短几天内构建第一个原型,然后线索将会浮现出来,向您展示改善原型性能的最有希望的方向。在下一次系统的迭代中,您将基于这些线索之一改进系统并构建其新的版本。你会一次又一次地这样来更新机器学习系统。

他继续解释说,迭代地越快,你将取得的进展越多。本书的其他概念建立在这一原则之上。请注意,这适用于那些只想构建基于AI的应用程序而不在该领域进行研究的人员。

概念2:使用单一评价标准

这个概念建立在前一个概念的基础上,并且要解释为什么您应该选择一种评价标准非常简单:它让您能够快速评估算法,因此您可以更快地迭代。使用多个评估指标只会使算法的比较变得更加困难。

想象一下,你有两种算法。第一个的精度为94%,召回率为89%。第二个的精度为88%,召回率为95%。

如果你没有选择单一的评价标准,那么就没有分类器有明显的优越性,所以你可能不得不花一些时间来弄明白哪个分类器更好。问题是,你在每次版本迭代时都会浪费很多时间完成这项任务,并且从长远来看这种时间会增加。您将尝试很多关于体系结构,参数,特征等的想法。如果您使用单一评价标准(例如精度或f1分数),则可以根据其模型性能对所有模型进行排序,并迅速决定哪一个最佳。改进评估过程的另一种方法是将多个评价标准组合成单个评价标准,例如,通过平均多个误差评价标准。

然而,将存在需要满足多个 评价标准的ML(机器学习)问题,例如:有些问题需要考虑运行时间。 NG(吴恩达)解释说,您应该定义一个“可接受的”运行时间,这使您能够快速过滤掉出太慢的算法,并根据您的单一评价标准将令人满意的算法相互比较。

简而言之,单一评价标准使您能够快速评估算法,从而更快地进行版本迭代。

概念3: 错误分析很重要

错误分析是查看算法哪里输出不正确的过程。 例如,假设当你的猫分类器会错误的将鸟类分类为猫,你可能已经有若干个改进想法。

通过正确的错误分析,你可以评估改进想法是否会真的提高系统的性能,而不需要在花费几个月的时间实现这个想法后却意识到它对系统并不重要。这能够决定将资源花在哪个想法上达到好的效果。如果你发现错误分类的图像中只有9%是鸟类,那么无论如何改进算法对鸟类图像的性能都没有影响,因为它不会提高超过9%的错误。

此外,它能够帮助你同时快速评估判断若干改进的想法的性能。只需要创建并填写一个电子表格,同时检查100个错误分类的验证集图像。在电子表格中,为每一个分类错误的图像创建一行,为每一个需要改进的想法创建列。然后你仔细检查每一个错误分类的图像,并标记出正确分类的图像。

之后,你就会知道准确的评估结果. 例如,使用想法1,系统可以正确地对40%的未分类图像进行分类,想法2为12%,想法3仅为9%。然后你就会知道,对你的团队来说想法1最有价值。 此外,一旦你开始查看这些示例,你也许会对如何改进算法产生新想法。

概念4:定义最优错误率

最优错误率有助于指导您进行后续的学习。在统计中,它通常也称为贝叶斯错误率。 想象一下,您正在将构建一个语音-文本系统,并且发现您希望用户提交音频文件的19%都具有如此显着的背景噪音,即使是人类也无法识别那里所说的内容。如果是这种情况,您就会知道——即使是最好的系统也可能会出现大约19%的误差。相反,如果您处理的问题的最佳错误率接近0%,您就可以希望您的系统也能做到这一点。

最优错误率还可以帮助您检测算法是否存在高偏差或方差,这有助于您在后续步骤中改进算法。

然而,我们如何知道最佳错误率是多少?对于人类擅长的任务,您可以将系统的性能与人类的性能进行比较,从而估算出最佳错误率。在其他情况下,通常很难确定,这就是你应该可以解决人类能够做得好的某些问题的原因,而这些原因我们将在下一个概念中讨论。

概念5:研究那些人类可以做得好的问题

在整本书中,吴恩达多次解释为什么他建议人们去研究那些人类自己可以做的足够好的机器学习类问题,如语音识别,图像分类,物体检测等。原因如下:

首先,获取或创建有标注的数据集更容易,因为如果人们可以自己解决问题的话,他们可以直接为学习算法提供高精度标签。

其次,您可以将人类表现作为您希望自己编写的算法所能达到的最佳错误率。吴恩达解释说,定义合理且可实现的最佳错误有助于加快团队的研究进度。它还可以帮助您检测您的算法是否存在高偏差或方差。

第三,它使您能够根据您的人类直觉进行错误分析。例如,如果您正在构建语音识别系统,且您的模型对其输入进行了错误分类,您就可以尝试了解人类将使用哪些信息来获取正确的转录,并使用此信息相应地修改学习算法。虽然在越来越多人类自己无法做好的任务中,算法在不断地超越人类,但你应该尽量避免这些问题。

总而言之,您应该避免这些任务,因为它使得获取数据的标签变得更加困难,您也不能总依赖于人类的直觉。并且,我们也很难知道最佳错误率是多少。

概念6:如何分割数据集

吴恩达老师还提出了一种如何分割数据集的方法。他建议如下: 训练集:使用它,你可以训练你的算法,而不需要其他任何东西。 开发集:这个集合用于进行超参数调整、选择和创建适当的特性以及进行错误分析。它基本上是用来决定你的算法的。 测试集:测试集用于评估系统的性能,但不用于做决定。它只是用来评估的,没有别的。 开发集和测试集允许您的团队快速评估算法的性能。它们的目的是指导您对系统进行最重要的更改。 他建议选择开发和测试集,以便它们反映出您希望在部署系统后在将来能够很好地处理的数据。如果您希望数据与当前正在培训的数据不同,则尤其如此。例如,您正在接受普通相机图像的培训,但稍后系统将只接收手机拍摄的照片,因为它是移动应用程序的一部分。如果你没有足够的手机照片来训练你的系统,这种情况可能会发生。因此,您应该选择测试集示例,这些示例反映出您希望在以后的实际情况中表现出色的内容,而不是用于培训的数据。 另外,您应该选择来自同一发行版的开发和测试集。否则,您的团队有可能会在开发人员集上构建一些性能良好的东西,结果发现它在测试数据上的性能非常差,这是您应该关心的。

总结

在这篇文章中,您已经了解了《Machine Learning Yearning》这本书中的6个概念。现在您知道了,为什么快速迭代很重要,为什么应该使用单个数字评估度量,以及什么是错误分析,以及为什么它至关重要。此外,您还了解了最佳错误率、为什么您应该处理人类可以做得很好的问题以及如何分割数据。此外,您还了解到,您应该选择开发和测试集数据,以便它们反映出您希望在将来很好地处理的数据,并且开发和测试集应该来自相同的分发。我希望这篇文章能给你介绍一下这本书的一些概念,我可以肯定地说,这本书值得一读。

本文分享自微信公众号 - AI研习社(okweiwu),作者:雷锋字幕组

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 通过从零开始实现一个感知机模型,我学到了这些

    编者按:本文源自作者 Jean-Nicholas Hould 的个人博客,他是一位来自加拿大蒙特利尔的数据科学家,具有丰富的研发和实践经验。本文节选自作者个人的...

    AI研习社
  • 「元学习」解析:学习如何梯度下降与学习新的算法

    AI 研习社:本文作者 Cody Marie Wild,她是一位机器学习领域的数据科学家,在生活中还是名猫咪铲屎官,她钟爱语言和简洁优美的系统。在这篇文章中,C...

    AI研习社
  • 学界 | 如何得到稳定可靠的强化学习算法?微软两篇顶会论文带来安全的平滑演进

    AI 科技评论按:强化学习最常见的应用是学习如何做出一系列决策,比如,如何一步步攀登上三千英尺高的岩壁。有机会用到强化学习并做出高水准结果的领域包括机器人(以及...

    AI研习社
  • [算法系列]最优化问题综述

    优化问题一般可分为两大类:无约束优化问题和约束优化问题,约束优化问题又可分为含等式约束优化问题和含不等式约束优化问题。

    统计学家
  • 深度强化学习智能交通 (I) :深度强化学习概述

    随着城市化进程的加快和自动技术的最新发展,交通研究逐渐向智能化方向发展,称为智能交通系统(ITS)。人工智能(AI)试图用最少的人工干预来控制系统。智能交通系统...

    数据酷客
  • 5大必知的图算法,附Python代码实现

    作为数据科学家,我们已经对 Pandas 或 SQL 等其他关系数据库非常熟悉了。我们习惯于将行中的用户视为列。但现实世界的表现真的如此吗?

    AI科技大本营
  • 重磅发布:史上首份揭秘微信公众号用户行为习惯研究报告

    大数据文摘
  • 开源分布式对象存储-MinIO 顶

    Minio可能在国内知道和用的人不是很多,我第一次接触Minio是也是当时我们需要使用Spinnaker集群来管理和维护内部的Kubernetes集群,而Spi...

    BGBiao
  • [数据可视化]绘制持仓榜单的“棒棒糖图”

    图中线的两端是圆点或者菱形,旁边都有标注持仓证券商和相对应的持多仓数或持空仓数,且左右线颜色不同。画图思路大体就是:先画水平线图,再用 scatter 散点图画...

    Crossin先生
  • 业界 | Uber开源神经进化算法开发的交互式可视化工具VINE

    选自Uber 作者:Rui Wang等 机器之心编译 参与:张倩、刘晓坤 近日,Uber 开源了神经进化算法开发的交互式可视化工具 VINE,该工具可以轻松实现...

    机器之心

作者介绍

精选专题

活动推荐

扫码关注云+社区

领取腾讯云代金券