吴恩达回答:深度学习的泡沫何时会破?

有人在 Quora 上问了一个匪夷所思的问题:“深度学习的泡沫何时会破?”在短短的十几个小时内,该问题就得到了 18 个回应,而且每个回应都颇有深度。下面的内容翻译自吴恩达和微软数据科学家 Tim Scarfe 对该问题的回应。

吴恩达

在 100 多年前也曾经出现过有关电力的炒作,但那个所谓的泡沫到现在都没有破,相反,我们现在根本离不开电力!

深度学习为我们带来了很多价值,它被广泛应用在多个领域,如 Web 搜索、广告、语音识别、推荐系统等,所以毫无疑问,这项技术会与我们同在。深度学习技术与其他人工智能工具(图像模型、智能决策、KR 等)的结合正在改变着我们的各行各业,它的影响力将不仅限于技术行业。

然而,在技术社区之外,人们对”情感人工智能“似乎给予了过多的期望。我与一些 CEO 聊过这方面的问题,他们把人工智能当成解决技术问题的灵丹妙药。看来,在深度学习方面确实存在一些泡沫,我希望这些泡沫在变大之前就破掉,越快越好。

Tim Scarfe

(Tim Scarfe 微软数据科学家,机器学习博士)

我感觉深度学习比预想的要更加普及。深度学习为预测技术带来了变革,而且在序列建模(如自然语言处理、语音识别)、局部空间处理(如计算机视觉)和增强学习方面具备无以伦比的性能。

在很多情况下,深度学习算法的性能相比之前的“频率学派”算法有了阶段性的进步。在拥有大数据集的情况下,执行关键性预测任务的性能优势尤为明显。

上图展示了 ImageNet 计算机视觉检测技术的快速发展,其中包括 2012 年 Alex Krizhevsky 使用他的卷积神经网络击败了前作。今年,一个来自中国的团队将错误率降低到了 2.2%,看来这场竞赛似乎要告一段落了。

我们也看到过去 8 年多在语言处理和语音识别方面出现了类似的进步。今年,微软通过基于 CNN 和双向 LSTM 的架构实现了语音识别的 human parity。

人们常说这些要归因于过去 10 年的数据大爆炸和计算大爆炸。实际上,这些大爆炸就是性能得到大幅提升的主要推动力,而人工神经网络不过是一项古老的技术。我不认为我们会在这两方面停下脚步,不是吗?

不过我想说的是,这不仅仅是一次思维的转型,或仅仅是一种全新的编程方式。

更少地强调特征提取

在古老的频率学派架构里,数据科学家需要掌握一些领域知识来完成特征提取。所有的算法都用来解决优化问题,这些问题与特征是混杂在一起的。这并不是说深度学习架构就不包含领域知识,图像的 CNN 模型局部空间依赖和 RNN 模型临时依赖不就是吗?关键的差异在于,NN 模型会自己学习表征层次,而这些表征在很多情况下可以很好地工作。

新奇预测(novel prediction)架构

我想,我们现在的优势是可以在一个框架内搭建出一个端到端的新奇预测架构,而且可以很快地训练模型,并在云端操作模型。

在以前,我们需要回归和分类算法,而现在我们使用预测架构。

上面的图片展示了物体的分割和局部化网络——Mask R-CNN。请留意我们是如何使用 CNN 来检测图像特征的,我们有一个区域提议网络(region proposal network)和该区域内的掩膜回归(mask regression),它们都处于同一个网络内。任何一个熟悉深度学习工具包和云端人工智能训练平台(如微软 Azure)的人都可以重现、训练和操作这些东西。

深度学习实际上是一种新型的编程模式,也被称为“可微编程(differentiable programming)”。

创新架构正在出现

这个可以参考 GAN 或混合专家(Mixture of Experts)模型。

业界在拥抱深度学习和创新

微软和谷歌已经在他们的云端安装了一些硬件来加速深度学习,也因为深度学习与生俱来的灵活预测架构,得到了广泛的应用。这一领域或许有点炒作过度了,但对于创新来说是一件好事,因为每个人都被调动起来了,变革的速度在加快。

超越深度学习

我并不认为我们剩下的只有深度学习。我个人相信基于模型的贝叶斯机器学习可能会回归,因为它可以在有效数据不足的情况下对真实世界的领域知识进行建模,而深度学习需要大量的数据!

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2017-11-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

UCL汪军团队新方法提高群体智能,解决大规模AI合作竞争

【新智元导读】当前人工智能最大的挑战之一,是如何让多个智能体学会一起完成同一个任务,学会彼此合作和相互竞争。在发表于ICML 2018的一项研究中,伦敦大学学院...

1390
来自专栏新智元

吴恩达谈深度学习:数据科学家需要知道的

【新智元导读】数据科学家需要什么深度学习知识?吴恩达 (Andrew Ng)用机器看图说话,机器问答等实例告诉大家。本文是吴恩达在2015年12月在Extrac...

3177
来自专栏新智元

今日头条李磊:用机器学习做自然语言理解,实现通用 AI 仍需解决三大难题(33PPT下载)

1 新智元原创 【新智元导读】10月18日,在中国自动化学会与新智元联合主办的 2016世界人工智能大会上,今日头条科学家、头条实验室总监李磊博士受邀发表...

4166
来自专栏机器之心

人物 | Ian Goodfellow亲述GAN简史:人工智能不能理解它无法创造的东西

选自Wired 作者:Cade Metz 机器之心编译 参与:黄小天、蒋思源 著名物理学家、加州理工学院教授以及畅销书作者理查德·费曼( Richard Fey...

36011
来自专栏华章科技

人工智能、机器学习、深度学习,三者之间的同心圆关系

理解三者之间关系的最简便方法就是将它们视觉化为一组同心圆——首先是最大的部分人工智能——然后是后来兴旺的机器学习——最后是促使当下人工智能大爆发的深度学习——在...

1064
来自专栏PPV课数据科学社区

作为数据人,你知道人工智能、机器学习、深度学习,三者之间的同心圆关系吗?

本方转自机器之心 作者Micheal Copeland 今年早些时候,当谷歌 DeepMind 团队的 AlphaGo 打败了李世石时,媒体就用人工智能、...

2766
来自专栏云加头条

王磊:AI 时代物流行业的 OCR 应用

OCR 是人工智能里面非常重要的基础能力之一。腾讯云人工智能产品总监王磊,结合物流场景解读了OCR技术。“OCR文本识别能够优化物流行业流程,解放人力降低成本。...

8199
来自专栏ATYUN订阅号

GANs学会掌握你的时尚品味,并定制出了你的下一套服装

人工智能(AI)可能会催生一种全新的时尚潮流:称之为“预测性时尚”。在ArXiv上发表的一篇论文中,来自加州大学圣地亚哥分校的研究人员和Adobe概述了人工智能...

3574
来自专栏量子位

旷视首席科学家孙剑:计算机视觉的变革和挑战 | 北大AI公开课笔记

周三晚,北京大学“人工智能前沿与产业趋势”第三讲,本期旷视研究院院长孙剑授课主题为“计算机视觉的变革与挑战”,分享了计算机视觉和深度学习领域的一些研究进展。

1065
来自专栏企鹅号快讯

深度学习笔记:深度学习在计算机视觉的应用

深度学习最早兴起于图像识别,但在短短几年时间内,深度学习推广到了机器学习的各个领域,如:图像识别、语音识别、自然语言处理、机器人等等。 ? 计算机视觉是深度学习...

2615

扫码关注云+社区