吴恩达回答:深度学习的泡沫何时会破?

有人在 Quora 上问了一个匪夷所思的问题:“深度学习的泡沫何时会破?”在短短的十几个小时内,该问题就得到了 18 个回应,而且每个回应都颇有深度。下面的内容翻译自吴恩达和微软数据科学家 Tim Scarfe 对该问题的回应。

吴恩达

在 100 多年前也曾经出现过有关电力的炒作,但那个所谓的泡沫到现在都没有破,相反,我们现在根本离不开电力!

深度学习为我们带来了很多价值,它被广泛应用在多个领域,如 Web 搜索、广告、语音识别、推荐系统等,所以毫无疑问,这项技术会与我们同在。深度学习技术与其他人工智能工具(图像模型、智能决策、KR 等)的结合正在改变着我们的各行各业,它的影响力将不仅限于技术行业。

然而,在技术社区之外,人们对”情感人工智能“似乎给予了过多的期望。我与一些 CEO 聊过这方面的问题,他们把人工智能当成解决技术问题的灵丹妙药。看来,在深度学习方面确实存在一些泡沫,我希望这些泡沫在变大之前就破掉,越快越好。

Tim Scarfe

(Tim Scarfe 微软数据科学家,机器学习博士)

我感觉深度学习比预想的要更加普及。深度学习为预测技术带来了变革,而且在序列建模(如自然语言处理、语音识别)、局部空间处理(如计算机视觉)和增强学习方面具备无以伦比的性能。

在很多情况下,深度学习算法的性能相比之前的“频率学派”算法有了阶段性的进步。在拥有大数据集的情况下,执行关键性预测任务的性能优势尤为明显。

上图展示了 ImageNet 计算机视觉检测技术的快速发展,其中包括 2012 年 Alex Krizhevsky 使用他的卷积神经网络击败了前作。今年,一个来自中国的团队将错误率降低到了 2.2%,看来这场竞赛似乎要告一段落了。

我们也看到过去 8 年多在语言处理和语音识别方面出现了类似的进步。今年,微软通过基于 CNN 和双向 LSTM 的架构实现了语音识别的 human parity。

人们常说这些要归因于过去 10 年的数据大爆炸和计算大爆炸。实际上,这些大爆炸就是性能得到大幅提升的主要推动力,而人工神经网络不过是一项古老的技术。我不认为我们会在这两方面停下脚步,不是吗?

不过我想说的是,这不仅仅是一次思维的转型,或仅仅是一种全新的编程方式。

更少地强调特征提取

在古老的频率学派架构里,数据科学家需要掌握一些领域知识来完成特征提取。所有的算法都用来解决优化问题,这些问题与特征是混杂在一起的。这并不是说深度学习架构就不包含领域知识,图像的 CNN 模型局部空间依赖和 RNN 模型临时依赖不就是吗?关键的差异在于,NN 模型会自己学习表征层次,而这些表征在很多情况下可以很好地工作。

新奇预测(novel prediction)架构

我想,我们现在的优势是可以在一个框架内搭建出一个端到端的新奇预测架构,而且可以很快地训练模型,并在云端操作模型。

在以前,我们需要回归和分类算法,而现在我们使用预测架构。

上面的图片展示了物体的分割和局部化网络——Mask R-CNN。请留意我们是如何使用 CNN 来检测图像特征的,我们有一个区域提议网络(region proposal network)和该区域内的掩膜回归(mask regression),它们都处于同一个网络内。任何一个熟悉深度学习工具包和云端人工智能训练平台(如微软 Azure)的人都可以重现、训练和操作这些东西。

深度学习实际上是一种新型的编程模式,也被称为“可微编程(differentiable programming)”。

创新架构正在出现

这个可以参考 GAN 或混合专家(Mixture of Experts)模型。

业界在拥抱深度学习和创新

微软和谷歌已经在他们的云端安装了一些硬件来加速深度学习,也因为深度学习与生俱来的灵活预测架构,得到了广泛的应用。这一领域或许有点炒作过度了,但对于创新来说是一件好事,因为每个人都被调动起来了,变革的速度在加快。

超越深度学习

我并不认为我们剩下的只有深度学习。我个人相信基于模型的贝叶斯机器学习可能会回归,因为它可以在有效数据不足的情况下对真实世界的领域知识进行建模,而深度学习需要大量的数据!

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2017-11-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏王相军的专栏

泛谈大数据 + AI 在征信行业的应用

AI被炒的很热,作为道行很浅的小菜鸟,对AI的了解也是知之甚少。不过,最近看了很多关于如何将AI应用到征信行业的东西,现结合自己的理解,总结概括一下,不妥当的地...

2321
来自专栏ATYUN订阅号

【学术】新的神经网络即将问世,它看起来很恐怖

? 这一切是怎么开始的? 生成式对抗网络进展 将典型的和经过良好研究的神经网络(如图像分类器)看作是神经网络技术的大脑左半球。考虑到这一点,很容易理解什么是生...

3477
来自专栏人工智能头条

需要密切关注的六大人工智能/机器学习领域

1663
来自专栏大数据文摘

我们为什么要这样联想|用哲学论证客户画像体系的复杂性

1283
来自专栏浮生的专栏

机器学习为更好的火灾现场安全

当勇敢的消防员身处险境试图抢救其他人和他们的财产的时候,他们的生命同样受到了威胁。在这篇文章中,我想分享我在AAIA第15届数据挖掘竞赛中的经验和获奖策略:给火...

1984
来自专栏机器之心

业界 | 人人都能用的深度学习:当前三大自动化深度学习平台简介

1724
来自专栏IT派

业界 | 人人都能用的深度学习:当前三大自动化深度学习平台简介

数据科学领域有一部分研究者和开发者已经选择学习这些新技术了,但在预测性和规范性建模的问题类型和技术方面(我们 90% 的工作就是这些),学习深度学习技术却与我们...

1113
来自专栏大数据文摘

案例:火场中消防员的姿态与动作识别

2776
来自专栏量子位

旷视首席科学家孙剑:计算机视觉的变革和挑战 | 北大AI公开课笔记

周三晚,北京大学“人工智能前沿与产业趋势”第三讲,本期旷视研究院院长孙剑授课主题为“计算机视觉的变革与挑战”,分享了计算机视觉和深度学习领域的一些研究进展。

885
来自专栏大数据文摘

智能房屋+大数据,将改变房地产经济学

1927

扫描关注云+社区