2017年关于深度学习的十大预测

Carlos E. Perez对深度学习的2017年十大预测,让我们不妨看一看。有兴趣的话,可以在一年之后回顾这篇文章,看看这十大预测有多少准确命中:)

1.硬件将加速一倍摩尔定律(即2017年2倍)

如果你跟踪Nvidia和Intel的发展,这当然是显而易见的。Nvidia将在整个2017年占据主导地位,只因为他们拥有最丰富的深度学习生态系统。没有头脑健全的人会跳到另一个平台,除非味深度学习开发了足够的生态系统。Intel® Xeon Phi™的解决方案胎死腹中,等Nervana芯片进入市场后,性能将在2017年中期赶上Nvidia。

Intel的FPGA解决方案可能只是因为经济性而被云提供商采纳。功耗是需要减少的第一个变量。Intel的Nervana芯片可能会在2017年年中时达到30万亿次浮点运算。这是我的猜测,因为现在Nvidia已经达到了20万亿次浮点运算。我打赌2018年之前,Intel不会产生重大影响。Intel可能拥有的唯一的王牌是3D XPoint技术。这将有助于改善整个硬件堆栈,但不一定是核心加速器能力,考虑到GPU加速器的使用HBM2堆叠的芯片性能的原因。

Amazon已经宣布他们的云实例基于FPGA。这是基于Xilinx UltraScale +技术,在单个实例上提供6,800个DSP片和64 GB内存。然而,令人印象深刻的是产品的I/O绑定不提供HBM版本的UltraScale。与Nvidia、Intel甚至AMD相比,较低的内存带宽解决方案可能会让开发人员暂停投资更复杂的开发过程(即VHDL,Verilog等)。

最近新闻报道,AMD公司发布了新的AMD Instinct line of Deep Learning accelerators。这些规格与Nvidia硬件相比具有极强的竞争力。这次发行计划2017年初上市。这可能有充足的时间,使AMD Rockm软件成熟。但是,在AMD实际提供解决方案之前,不要期望从Nvidia进行大规模迁移。

2.卷积网络(CNN)将主导,RNN/LSTM将会被淘汰。

CNN将是深度学习系统中流行的基本模型。具有其经常性配置和嵌入式存储器节点的RNN和LSTM将用得更少、更简单,因为它们将不具备基于CNN的解决方案的竞争性。就像GOTO在编程世界中消失一样,我估计RNN/LSTM的命运也如此。

可微分的内存网络会更加普遍。这只是一个自然结果或架构,其中内存将从核心节点中提取出来,并且只作为与计算机制分离的组件。我认为我们不需要刻意去忘却,输入和输出门的LSTM,可以取代辅助可微型存储器。我们已经看到有关模块化LSTM解耦存储器的对话(参见Augmented Memory RNN)。

3.设计师将退出调整,取而代之的是依靠元学习

当我开始深度学习之旅时,我曾经认为优化算法,特别是那些二次优化算法将会带来巨大的改进。今天,显而易见,深度学习为你学习优化算法。这样做的一个主要原因是元学习能够基于其领域自适应地优化其学习。进一步与此相关的是反向传播的替代算法是否将开始出现并实践。

4.强化学习只会变得更有创造力

对现实的观察总是不完美。有很多问题,SGD不适用。这就使得任何实际部署的深度学习系统将需要某种形式的强化学习成为至关重要。除此之外,我们将在很多地方看到强化学习在深度学习训练中使用。例如,元学习将大量启用强化学习。

5.对抗和合作学习将是王道

在过去,我们使用单解析目标函数的单片式深度学习系统。在新的世界,我期望看到具有两个或更多个网络的系统合作或竞争以获得可能不是分析形式的最优解决方案。参见 “Game Theory reveals the future of Deep Learning”。2017年,将有很多尝试管理非平衡态(non-equilibrium)上下文的研究。

6.预测学习和无监督学习不会取得很大进展

“预测学习”是Yann LeCun提出的新流行语,取代了更常见的术语“无监督学习”。目前还不清楚这个新的术语是否可以更广泛地采用。问题是,预测学习是否会在2017年取得长足进步。

如果阅读过“5 Capabilities of Deep Learning Intelligence”,你将会觉得预测学习是一些完全未知的能力。预测学习就像宇宙的暗物质一样,我们知道它是存在的,但不知道如何观察到它。

7.学习迁移导致工业化

Andrew Ng认为这点很重要,我也这么认为!

8.更多应用程序将使用深度学习作为组件

我们在2016年已经看到这一点,深度学习在更大的搜索算法中用作函数评估组件。AlphaGo在其价值和政策评估中采用深度学习。Google的Gmail自动回复系统将深度学习与定向搜索结合使用。我期待看到涌现更多的混合算法,而不是新的端到端训练的深度学习系统。

9.设计模式将越来越多地被采纳

深度学习只是需要概念结构的复杂领域之一。尽管所有涉及到高等数学,有大量文字叙述和模糊的概念,最好不是由正规严谨的方法来捕获,而是提供一个业已证明在其他复杂的领域(如软件开发)有效的方法。我预测,从业者将最终“获得”关于深度学习和设计模式。

10.工程将超越理论

研究人员的背景和他们所使用的数学工具,将会滋生他们研究方法中的偏见。深度学习系统和无监督学习系统可能是我们从未遇到的这些新事物。因此,没有证据表明我们的传统分析工具将帮助解开深度学习实际如何工作的谜团。在物理学中有很多动态系统,仍然困惑了几十年,我看到了与动态学习系统相同的情况。

然而,尽管我们缺乏对基本原理的理解,这种情况并不会阻止更高级的应用程序工程。深度学习就像生物技术或基因工程。我们创造了模拟学习机,但我们不知道他们是如何工作的,这并不妨碍任何人进行创新。

声明:本文系网络转载,版权归原作者所有。如涉及版权,请联系删除!

原文发布于微信公众号 - 智能算法(AI_Algorithm)

原文发表时间:2016-12-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据的力量

干货 | 从定义到应用,数据挖掘的一次权威定义之旅

1574
来自专栏量子位

Facebook新方法加速计算机视觉训练,120万张图只用1小时(附论文)

陈桦 编译自 Facebook 量子位出品 | 公众号 QbitAI 知乎上有个问题,大意是你在等待机器学习模型训练的时候,都做些什么。 Facebook今天在...

3705
来自专栏机器之心

资源 | 让AI学会刨根问底和放飞自我,斯坦福最新问答数据集CoQA

作者:Siva Reddy、Danqi Chen、Christopher D. Manning

891
来自专栏大数据挖掘DT机器学习

机器学习算法工程师需要掌握的技能

实话实说,目前大部分人上各种班来学习机器学习,学习大数据,归根到底还是希望能找到一个好的工作,拿到更高的薪水,当然还有一部分原因是自己对这一方面比较感兴趣,希望...

3886
来自专栏机器之心

深度 | 生产级深度学习的开发经验分享:数据集的构建和提升是关键

本文从生产层面强调了深度学习项目开发中需要更加重视数据集的构建,并以作者本人的亲身开发经验为例子,分享了几个简单实用的建议,涉及了数据集特性、迁移学习、指标以及...

1120
来自专栏PPV课数据科学社区

干货 | 从定义到应用,数据挖掘的一次权威定义之旅

什么是数据挖掘 前两天看到群里有人问,什么是数据挖掘,现在就数据挖掘的概念做一下分析,并且尽量用大白话说一下数据挖掘到底是个啥东西,为啥大数据来了数据挖掘也火了...

2945
来自专栏数据派THU

独家 | 如何改善你的训练数据集?(附案例)

这张幻灯片是Andrej Karpathy 在Train AI 演讲的一部分,我很赞同它表达的观点。它充分体现了深度学习在研究和应用上的差异。学术论文几乎全部集...

1114
来自专栏机器之心

观点 | 如何从一名软件工程师转行做人工智能?

3787
来自专栏ATYUN订阅号

【业界】是时候解决深度学习的生产力问题了

深度学习正在推动从消费者的手机应用到图像识别等各个领域的突破。然而,运行基于深度学习的人工智能模型带来了许多挑战。最困难的障碍之一是训练模型所需的时间。 ? 需...

3486
来自专栏专知

【教程】AlphaGo Zero 核心技术 - David Silver深度强化学习课程中文学习笔记

【导读】昨天 Google DeepMind在Nature上发表最新论文,介绍了迄今最强最新的版本AlphaGo Zero,不使用人类先验知识,使用纯强化学习,...

3554

扫码关注云+社区

领取腾讯云代金券