2017年关于深度学习的十大预测

Carlos E. Perez对深度学习的2017年十大预测，让我们不妨看一看。有兴趣的话，可以在一年之后回顾这篇文章，看看这十大预测有多少准确命中：)

1.硬件将加速一倍摩尔定律(即2017年2倍)

如果你跟踪Nvidia和Intel的发展，这当然是显而易见的。Nvidia将在整个2017年占据主导地位，只因为他们拥有最丰富的深度学习生态系统。没有头脑健全的人会跳到另一个平台，除非味深度学习开发了足够的生态系统。Intel® Xeon Phi™的解决方案胎死腹中，等Nervana芯片进入市场后，性能将在2017年中期赶上Nvidia。

Intel的FPGA解决方案可能只是因为经济性而被云提供商采纳。功耗是需要减少的第一个变量。Intel的Nervana芯片可能会在2017年年中时达到30万亿次浮点运算。这是我的猜测，因为现在Nvidia已经达到了20万亿次浮点运算。我打赌2018年之前，Intel不会产生重大影响。Intel可能拥有的唯一的王牌是3D XPoint技术。这将有助于改善整个硬件堆栈，但不一定是核心加速器能力，考虑到GPU加速器的使用HBM2堆叠的芯片性能的原因。

Amazon已经宣布他们的云实例基于FPGA。这是基于Xilinx UltraScale +技术，在单个实例上提供6,800个DSP片和64 GB内存。然而，令人印象深刻的是产品的I/O绑定不提供HBM版本的UltraScale。与Nvidia、Intel甚至AMD相比，较低的内存带宽解决方案可能会让开发人员暂停投资更复杂的开发过程(即VHDL，Verilog等)。

最近新闻报道，AMD公司发布了新的AMD Instinct line of Deep Learning accelerators。这些规格与Nvidia硬件相比具有极强的竞争力。这次发行计划2017年初上市。这可能有充足的时间，使AMD Rockm软件成熟。但是，在AMD实际提供解决方案之前，不要期望从Nvidia进行大规模迁移。

2.卷积网络(CNN)将主导，RNN/LSTM将会被淘汰。

CNN将是深度学习系统中流行的基本模型。具有其经常性配置和嵌入式存储器节点的RNN和LSTM将用得更少、更简单，因为它们将不具备基于CNN的解决方案的竞争性。就像GOTO在编程世界中消失一样，我估计RNN/LSTM的命运也如此。

可微分的内存网络会更加普遍。这只是一个自然结果或架构，其中内存将从核心节点中提取出来，并且只作为与计算机制分离的组件。我认为我们不需要刻意去忘却，输入和输出门的LSTM，可以取代辅助可微型存储器。我们已经看到有关模块化LSTM解耦存储器的对话(参见Augmented Memory RNN)。

3.设计师将退出调整，取而代之的是依靠元学习

当我开始深度学习之旅时，我曾经认为优化算法，特别是那些二次优化算法将会带来巨大的改进。今天，显而易见，深度学习为你学习优化算法。这样做的一个主要原因是元学习能够基于其领域自适应地优化其学习。进一步与此相关的是反向传播的替代算法是否将开始出现并实践。

4.强化学习只会变得更有创造力

对现实的观察总是不完美。有很多问题，SGD不适用。这就使得任何实际部署的深度学习系统将需要某种形式的强化学习成为至关重要。除此之外，我们将在很多地方看到强化学习在深度学习训练中使用。例如，元学习将大量启用强化学习。

5.对抗和合作学习将是王道

在过去，我们使用单解析目标函数的单片式深度学习系统。在新的世界，我期望看到具有两个或更多个网络的系统合作或竞争以获得可能不是分析形式的最优解决方案。参见 “Game Theory reveals the future of Deep Learning”。2017年，将有很多尝试管理非平衡态(non-equilibrium)上下文的研究。

6.预测学习和无监督学习不会取得很大进展

“预测学习”是Yann LeCun提出的新流行语，取代了更常见的术语“无监督学习”。目前还不清楚这个新的术语是否可以更广泛地采用。问题是，预测学习是否会在2017年取得长足进步。

如果阅读过“5 Capabilities of Deep Learning Intelligence”，你将会觉得预测学习是一些完全未知的能力。预测学习就像宇宙的暗物质一样，我们知道它是存在的，但不知道如何观察到它。

7.学习迁移导致工业化

Andrew Ng认为这点很重要，我也这么认为!

8.更多应用程序将使用深度学习作为组件

我们在2016年已经看到这一点，深度学习在更大的搜索算法中用作函数评估组件。AlphaGo在其价值和政策评估中采用深度学习。Google的Gmail自动回复系统将深度学习与定向搜索结合使用。我期待看到涌现更多的混合算法，而不是新的端到端训练的深度学习系统。

9.设计模式将越来越多地被采纳

深度学习只是需要概念结构的复杂领域之一。尽管所有涉及到高等数学，有大量文字叙述和模糊的概念，最好不是由正规严谨的方法来捕获，而是提供一个业已证明在其他复杂的领域(如软件开发)有效的方法。我预测，从业者将最终“获得”关于深度学习和设计模式。

10.工程将超越理论

研究人员的背景和他们所使用的数学工具，将会滋生他们研究方法中的偏见。深度学习系统和无监督学习系统可能是我们从未遇到的这些新事物。因此，没有证据表明我们的传统分析工具将帮助解开深度学习实际如何工作的谜团。在物理学中有很多动态系统，仍然困惑了几十年，我看到了与动态学习系统相同的情况。

然而，尽管我们缺乏对基本原理的理解，这种情况并不会阻止更高级的应用程序工程。深度学习就像生物技术或基因工程。我们创造了模拟学习机，但我们不知道他们是如何工作的，这并不妨碍任何人进行创新。

声明：本文系网络转载，版权归原作者所有。如涉及版权，请联系删除！