深度学习理论研究已进入瓶颈期?看看李飞飞们怎么说

AI圈推特红人,Keras框架的作者François Chollet又搞大新闻了!近日François Chollet在推特上发推称:“深度学习研究已经进入了瓶颈期。将深度学习应用于解决现实生活问题的应用正在迎来一个大爆发。”

这条推特下很快获得了上千个赞、数百转发,以及一系列热烈讨论。从回复中看,不少回复者(尤其是产业界人士)认为,“深度学习进入平台期”的提法值得商榷,AI科技评论节选了其中几条:

Buzzfeed首席数据科学家、哥伦比亚大学客座助理教授Adam Kelleher:

会不会这只是社交网络造成的样本偏差?

Machinebox.io创始人David Hernandez:

在我看来在“实际问题”的应用上还是很有限。我和不少人聊过,他们往往做的是Chatbot、欺诈检测或者推荐这三类应用之一。

爱丁堡大学助理教授、艾伦·图灵学院Fellow Charles Sutton‏:

我们能不能先讨论整个深度学习的繁荣时代是否已经到来?

Google Research研究员David Berthelot:

我觉得如果你写一篇长文章来解释一下,为什么你认为现在的深度学习已经进入平台期,这对于我和其他读者来说更有启迪性。

CarrerBuilder大数据首席研究员Faizan Javed:

增强学习难道不是新的热点吗?

而Google Cloud机器学习负责人斯坦福大学副教授李飞飞则赞同François Chollet的观点,但同样表示深度学习还有很长的路要走:

同意!大浪淘沙,最后只有少数工具青史留名;学无止境,(深度学习)无论在智力、人力或机器设备方面,都还有很长的路要走。

那么其他人怎么看呢?AI科技评论就深度学习的理论研究进展与实际应用趋势征询了若干专家的意见:

微软亚洲研究院主任研究员郑宇表示,深度学习爆发的瓶颈在人工智能技术与传统行业的对接:

我部分认同这个观点。目前的数据、技术和基础设施确实已经成熟,可以迎来未来应用的爆发,但能否爆发的瓶颈可能不在技术本身,而在于人工智能技术与传统行业的对接。AI的未来不在IT业,而在于AI跟广大传统行业的融合,如交通、规划、能源、环境、物流、制造和金融等。AI从业者需要学习传统行业知识,理解传统业务的逻辑和痛点,并懂得用传统行业的语言跟行业专家对接。既要帮助革新传统行业,也要懂得尊重传统行业,这需要有很强综合实力的数据科学家。此类复合型人才的培养非常困难、周期长、且不容易量产,可能会成为制约AI大爆发的真正瓶颈。

地平线机器人创始人、前百度研究院副院长余凯对AI科技评论表示,深度学习理论研究的主流架构会收敛,很难有革命性的理论突破:

基本认同这一观点。未来学术研究还是会基于当前研究持续进行,但是不会有革命性的,大家的主流架构会收敛,所以后续的重点是深度神经网络在各个具体应用场景的落地部署。

密苏里科大助理教授傅衍杰则用PHP框架化编程类比现在这一波深度学习:

基本同意这两个观点。类似web系统, 当年PHP大行其道,就是因为许多人用PHP编程语言,基于MVC的设计模式,设计了许多web编程框架。现在,深度学习也类似的涌现了许多编程框架 ,比如Tensor flow, Theano, Keras, Torch等等。这些框架使得Deep Learning变得更加易用,实现起来的编程工作量更小,出现错误的可能性更低。所以深度学习的确进入了一个平台期。 结合数据挖掘的研究思路,深度学习通过层次化的学习模型,对研究对象进行表征学习,等于使用隐式的办法去完成表征这一步骤。所以,深度学习是可以放入感知-表征-建模-应用,这么一个很实用也很接地气的解决问题的思路中的。

华为诺亚方舟实验室研究员李震国认为,理论往往是超前于应用的,计算能力的提升和大数据的出现正是印证了之前算法和理论的有效性:

我同意他的观点。不是理论取得了突破,而是算法的有效性由于计算能力的提升和大数据的出现获得了验证。应用会一直是机器学习的重点,同时理论和可解释性会一直被探索。除了GAN, deep meta-learning也值得关注。

密歇根州立大学助理教授汤继良认为,深度学习工程化的门槛越来越低,而理论的门槛越来越高:

深度学习正在两极化。大部分甚至越来越多的深度学习的人会偏向于工程化。包括建立更加全面便捷,快速甚至可视化的深度学习平台,和adapt 甚至暴力地将深度学习应用到更加多的领域。小部分的深度学习研究者会偏向于理论化:解决深度学习的理论瓶颈包括可解释性等。一个正在发生的趋势是:工程化的门槛越来越低,而理论的门槛越来越高。所以我还是基本认同他的观点 ,但是我们也非常地期待深度学习理论上的突破。

中科院自动化所副研究员张家俊认为,深度学习还未有真正的爆发性大规模成功应用:

我对深度学习理论没深入研究,无法判断理论研究的趋势,不过在应用方面,显然深度学习还未有真正的爆发性大规模成功应用,我觉得在各种实际应用问题中爆发应该是一个趋势。在应用方面,关键的是针对特定应用,理解该领域的数据、场景和背景知识,选择合适的深度学习方法,而不是鲁莽地拿来即用。

结语

AI科技评论认为,如果从历史的发展来看,当前深度学习领域的经典算法和理论往往都是已经提出了一段时间,而随着计算能力和数据规模的发展,这些经典理论和算法逐步得到了验证。如果从深度学习的问题和挑战、以及解决问题的思路来说已经发展得比较完备,因此说深度学习“进入平台期”也是不无道理。但从另一个角度看,进入“平台期”的可能是一些深度学习的经典问题,但如果对于这些经典问题继续深入研究,或许能够从中发现之前没有想到的解决方法(例如,在ImageNet图像识别上,在Alex Krizhevsky用GPU死磕将效果大幅度提升之前,大部分人应该都不会想到AlexNet)。正如李飞飞所言,学无止境,深度学习还有很长的路要走 。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

AI Insight:有了深度学习就可以包打天下?你想多了

眼下深度学习是整个 IT 领域中最热门的技术之一。虽然它只是机器学习五大学派数十种算法之一,但从媒体关注度、论文发表数量和创业投资热度来说,在人工智能、数据科技...

31411
来自专栏新智元

谷歌深度学习四大教训:应用、系统、数据及原理(附数据集列表)

【新智元导读】刚刚结束的伦敦深度学习峰会上,曾与吴恩达在 Google Brain 共事的谷歌高级研究员 Greg Corrado 分享了他对何时、何地、如何使...

42310
来自专栏专知

2017机器学习和人工智能年终综述,Xavier Amastsin

2017年关于AI发生了很多事情,很难几个段落描述清楚。在这里我尝试进行总结。 ? 很难相信自从我上一次年终总结以来到现在只有一年的时间。2017年AI世界里发...

3529
来自专栏智能算法

麻省理工学院用深度学习教会计算机预测未来

【AI世代编者按】据外媒报道,通过部分基于人脑模型的算法,麻省理工学院的研究员让计算机可以通过分析照片去预测下一时刻的未来。 麻省理工学院计算机科学和人工智能实...

26811
来自专栏机器之心

前沿 | 当 AI 掌握「读心术」:DeepMind AI 已经学会相互理解

有时候,我们会觉得 Siri 或 Alexa 等数字助理非常令人失望,因为它们根本不懂我们人类。它们需要懂点被心理学家称为「心智理论」(theory of mi...

671
来自专栏CSDN技术头条

深度学习鼻祖杰夫·辛顿及巨头们的人才抢夺战

在过去的三十年,深度学习运动一度被认为是学术界的一个异类,但是现在, Geoff Hinton(如下图1)和他的深度学习同事,包括纽约大学Yann LeCun和...

19410
来自专栏大数据文摘

Facebook研究出接近人类水平的脸部识别技术

2899
来自专栏腾讯高校合作

犀牛鸟精英研究生计划课题方向一览

腾讯携手高校、科研院所及学术组织启动“犀牛鸟精英研究生计划”,通过洞察产业数据、接触真实问题、定制专项方案联合培养顶尖AI创新人才,推进前沿科研突破、加速成果应...

3496
来自专栏PPV课数据科学社区

人工智能革命:为什么深度学习会突然改变你的生活?(上)

? 编者按:过去4年,大家无疑已经注意到大范围的日常技术在质量方面已经取得了巨大突破。这背后基本上都有深度学习的影子。到底什么是深度学习?深度学习是如何发展到...

3528
来自专栏AI科技评论

大会 | 第十三届图像图形技术与应用学术会议 ,张广军院士等学者报告其多年研究工作

张广军、Jeremy M. Wolfe、刘成林、刘烨斌、张艳宁、童欣、周昆、王亮等知名学者在 IGTA 2018 带来精彩报告。 AI 科技评论:2018 年 ...

2715

扫码关注云+社区