吴恩达回答:深度学习的泡沫何时会破?

有人在 Quora 上问了一个匪夷所思的问题:“深度学习的泡沫何时会破?”在短短的十几个小时内,该问题就得到了 18 个回应,而且每个回应都颇有深度。下面的内容翻译自吴恩达和微软数据科学家 Tim Scarfe 对该问题的回应。

吴恩达

在 100 多年前也曾经出现过有关电力的炒作,但那个所谓的泡沫到现在都没有破,相反,我们现在根本离不开电力!

深度学习为我们带来了很多价值,它被广泛应用在多个领域,如 Web 搜索、广告、语音识别、推荐系统等,所以毫无疑问,这项技术会与我们同在。深度学习技术与其他人工智能工具(图像模型、智能决策、KR 等)的结合正在改变着我们的各行各业,它的影响力将不仅限于技术行业。

然而,在技术社区之外,人们对”情感人工智能“似乎给予了过多的期望。我与一些 CEO 聊过这方面的问题,他们把人工智能当成解决技术问题的灵丹妙药。看来,在深度学习方面确实存在一些泡沫,我希望这些泡沫在变大之前就破掉,越快越好。

Tim Scarfe

(Tim Scarfe 微软数据科学家,机器学习博士)

我感觉深度学习比预想的要更加普及。深度学习为预测技术带来了变革,而且在序列建模(如自然语言处理、语音识别)、局部空间处理(如计算机视觉)和增强学习方面具备无以伦比的性能。

在很多情况下,深度学习算法的性能相比之前的“频率学派”算法有了阶段性的进步。在拥有大数据集的情况下,执行关键性预测任务的性能优势尤为明显。

上图展示了 ImageNet 计算机视觉检测技术的快速发展,其中包括 2012 年 Alex Krizhevsky 使用他的卷积神经网络击败了前作。今年,一个来自中国的团队将错误率降低到了 2.2%,看来这场竞赛似乎要告一段落了。

我们也看到过去 8 年多在语言处理和语音识别方面出现了类似的进步。今年,微软通过基于 CNN 和双向 LSTM 的架构实现了语音识别的 human parity。

人们常说这些要归因于过去 10 年的数据大爆炸和计算大爆炸。实际上,这些大爆炸就是性能得到大幅提升的主要推动力,而人工神经网络不过是一项古老的技术。我不认为我们会在这两方面停下脚步,不是吗?

不过我想说的是,这不仅仅是一次思维的转型,或仅仅是一种全新的编程方式。

更少地强调特征提取

在古老的频率学派架构里,数据科学家需要掌握一些领域知识来完成特征提取。所有的算法都用来解决优化问题,这些问题与特征是混杂在一起的。这并不是说深度学习架构就不包含领域知识,图像的 CNN 模型局部空间依赖和 RNN 模型临时依赖不就是吗?关键的差异在于,NN 模型会自己学习表征层次,而这些表征在很多情况下可以很好地工作。

新奇预测(novel prediction)架构

我想,我们现在的优势是可以在一个框架内搭建出一个端到端的新奇预测架构,而且可以很快地训练模型,并在云端操作模型。

在以前,我们需要回归和分类算法,而现在我们使用预测架构。

上面的图片展示了物体的分割和局部化网络——Mask R-CNN。请留意我们是如何使用 CNN 来检测图像特征的,我们有一个区域提议网络(region proposal network)和该区域内的掩膜回归(mask regression),它们都处于同一个网络内。任何一个熟悉深度学习工具包和云端人工智能训练平台(如微软 Azure)的人都可以重现、训练和操作这些东西。

深度学习实际上是一种新型的编程模式,也被称为“可微编程(differentiable programming)”。

创新架构正在出现

这个可以参考 GAN 或混合专家(Mixture of Experts)模型。

业界在拥抱深度学习和创新

微软和谷歌已经在他们的云端安装了一些硬件来加速深度学习,也因为深度学习与生俱来的灵活预测架构,得到了广泛的应用。这一领域或许有点炒作过度了,但对于创新来说是一件好事,因为每个人都被调动起来了,变革的速度在加快。

超越深度学习

我并不认为我们剩下的只有深度学习。我个人相信基于模型的贝叶斯机器学习可能会回归,因为它可以在有效数据不足的情况下对真实世界的领域知识进行建模,而深度学习需要大量的数据!

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2017-11-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

神经网络的优点和缺点

在本文中我们将探讨如今深度学习如此受欢迎的原因。在读完本文后,你将了解神经网络的主要优缺点,并且当你为解决机器学习问题选择合适类型的算法时,你将做到心中有数。你...

1643
来自专栏养码场

19岁的谷歌战略AI first,25岁的Java工程师如何转型人工智能?

在今天的Google I/O 主题演讲上,Google CEO 桑德尔·皮蔡并没有发布什么新的产品,而是给大家带来了一家新的公司——公司的战略正在从“Mobil...

1021
来自专栏AI科技大本营的专栏

量子计算+人工智能——这才是未来科技的最大热门!

编译 | AI科技大本营 参与 | shawn 编辑 | 明明 90年代初,当卫奇塔州立大学(Wichita State University)的物理学教授El...

3787
来自专栏机器之心

学界 | 如何设计奖励函数

选自 nlpers.blogspot 机器之心编译 参与:Jane W、黄小天 作者Hal Daumé III是美国马里兰大学计算机科学院CLIP lab副教授...

26111
来自专栏CSDN技术头条

一文读懂数据科学、机器学习和AI的区别

当我跟别人介绍自己是一名数据科学家时,别人总会问我“数据科学与机器学习之间有什么区别?”或者“那你从事的工作一定是跟人工智能有关吧?”关于这些问题我已经回答过了...

1818
来自专栏大数据文摘

我们为什么要这样联想|用哲学论证客户画像体系的复杂性

1333
来自专栏腾讯技术工程官方号的专栏

腾讯AI Lab宣布将于9月底开源“Tencent ML-Images”项目

? 今日,腾讯AI Lab宣布将于9月底开源“Tencent ML-Images”项目,该项目由多标签图像数据集ML-Images,以及业内目前同类深度学习模...

3.5K8
来自专栏人工智能快报

全球顶尖人工智能科学家回答网友提问

2016年1月20日,全球最顶尖的人工智能科学家之一、加拿大蒙特利尔大学教授Yoshua Bengio在知名问答社区Quora针对网友的提问给出了自己的一些见解...

3737
来自专栏携程技术中心

个性化推荐沙龙 | 跨领域推荐,实现个性化服务的技术途径

曹健,上海交通大学计算机系教授。近年来在大数据智能分析领域进行研究与应用。 一、跨领域推荐的概念 推荐系统在我们这个时代扮演了越来越重要的角色。如何利用海量数据...

2865
来自专栏机器之心

从背景介绍到未来挑战,一文综述移动和无线网络深度学习研究

选自arXiv 作者:Chaoyun Zhang等 机器之心编译 近来移动通信和 5G 网络等快速发展,它们的调控与配置因为充满了多样性和动态变化而面临非常多的...

2975

扫码关注云+社区