深度学习在2017年的十大发展趋势及预测

在本篇文章中,作者对深度学习在接下来一年中的发展趋势作出了十条预测。本文作者在《2011年软件开发趋势和相关预言》的十条预言中,有六条是准确的。

在之前的博客中,我曾预言过未来几年的发展趋势。我记得上一篇博客的内容是《2011年软件开发趋势和相关预言》(Software DevelopmentTrends and Predictions for 2011,http://www.manageability.org/blog/stuff/software-development-trends-2011/view),是很久之前的事情了。现在想来,在那篇博客的十条预言中,有六条是准确的(即 avascript VM、NoSQL、Big Data Analytics、Privated Cloulds、Inversion of Desktop Service 和 Scala),但另外四条则并没有完全实现(即 Enterprise AppStores、Semantic Indexing、OAuth in the Enterprise 以及 Proactive Agents)。AppStores 和 OAuth 采用的是 Saas 模型,虽然未在大公司一展身手,却在小公司发挥了很大的作用。我会总结先前预言失败的教训,之前没有料到企业革新的速度竟如此缓慢!Semantic Indexing 和 Proactive Agents是其中最主要的两个预测,但是很不幸没能如我最开始设计的那样发展。可能是我当时高估了人工智能技术,当时深度学习还没有被创造出来。

现在,我对于深度学习的预言不会像之前那样,停留在概念水平上。同时,我也不会再预测公司是否会采用我的说法,而是把关注的焦点集中在研究趋势和预言上。毫无疑问,深度学习将驱动 AI 在公司中的应用。虽然形式还不够明朗,但对于 AI 来说,深度学习确实是其最主要的驱动力和方法。但目前我们尚不清楚,2017年中将会出现的哪些新的技术,推动人工智能获得指数式的发展。

所以,对于2017年,让我大胆的预测一下!

1. 硬件将双倍加速摩尔定律(i.e.2xin 2017)

如果你追踪过 Nvidia 和 Intel 的开发进程的话,这一趋势可谓显而易见。凭借着最为丰富多样的深度学习生态系统,2017将是由 Nvidia 主导的一年。在其他平台有足够的生态系统来开发DL之前,我想没有哪个人会选择离开 Nvidia。未来,Intel 的 Xeon Phi 将是所有解决方案中最为精确的方案,在2017年基于 Nervana 的芯片被推出之时,其性能上将会赶上 Nvidia。

从经济学的角度考虑,云提供商会采用 Intel 的 FPGA 方案。能源消耗是需要降低的首要变量。在2017年,Intel 基于 Neravana 的芯片的计算速度将会达到每秒种30万亿次。这虽然是我估计的数字,但目前 Nvidia 的计算速度已经能够达到每秒20万亿次了,我打赌 Intel 在2018年一定会有对整个市场造成重大的影响的技术创新。由于 Intel 拥有 3D XPoint 技术,将来很可能会成为行业唯一的佼佼者。考虑到使用 HBM2 的 GPU 在其顶部堆栈的性能因素,3DXPoint 技术可能会提高整个硬件栈,但不一定会加速核心能力。

目前,Amazon 已经发布了其基于 FPGA 的云实例(http://aws.amazon.com/blogs/aws/developer-preview-ec2-instances-f1-with-programmable-hardware/),根据的是 Xilinx UltraScal+e 技术,并在单实例上提供了6800个 DSP 薄片和64G内存。尽管提供的并不是 UltraScale+ 的 HBM 版本,I/O 受到限制,其运行能力仍然令人印象深刻。与 Nvidia 相比,在较低内存宽带的解决方案上,Intel(甚至包括 AMD)可能会暂停开发人员的开发工作,讨论是否投资给一项更复杂的开发流程(i.e.VHDL,Verilogetc)。

在最新披露的消息中,AMD 公开了其最新的 AMD 深度学习加速器直觉线,对 Nvidia 的硬件来说极具竞争性。AMD 计划在2017年年初发布该文档。这或许是要给 AMD 的 ROCm 软件开发预留足够的时间,确保其成熟可用。

2. 卷积神经网络(CNN)将占主导地位

CNN 将会成为 DL 系统广泛使用的基本模型。RNN 和 LSTM 与其循环识别和嵌入式记忆结点的使用将越来越少,与基于 CNN 的解决方案相比,不再具有竞争力。就像 GOTO 会从编程界消失一样,我预期 RNN 和 LSTM 也会有同样的宿命。事实上,并行架构的性能是胜过顺序架构的。

可微记忆网络将会更加通用。自然而然地,内存将会从核心节点中提取出来,作为计算机制中单独的组件。我们需要记住的是,LSTM 的输入和输出门将会被辅助可微记忆取代。先前我们已经看到过关于重构 LSTM 解耦内存的讨论(参见扩充内存 RNN)。

3. 设计者会更依赖 Meta-learning

在我刚开启深度学习之旅时,我曾想过优化算法,尤其是那些二阶会导致大规模改进的算法。现在,显而易见,DL 就能为你学习优化算法。对于那些考虑获取更优版本 SGD 的人来说,这是一个终结。SGD 的更优版本即为机器学习,是当下十分具有针对性的问题。与此同时,Meta-Learning 能够基于它的域自适应优化学习。更具相关性的一个问题是,未来是否会出现反向传播算法的替代性算法。2017年年末,人类手工调整 SGD 算法的目标很有可能成为现实。

4. 强化学习仅会变得更具创造性

对现实的观察永远不尽完美,SGD 在很多问题上也不适用。这就使得,DL 系统的的所有实际应用都必须伴有 RL(强化学习)。除此之外,DL 的训练过程也离不开 RL。其中,Meta-Learning 就是在很大程度上受到 RL 影响的一个例子。事实上,RL 会被用来寻找各种各样的神经网络架构,与在类胆固醇上做超参数优化的过程类似。如果你恰巧忙于 Gaussian Process 事宜,可能要没时间吃饭了吧。

5. 对抗与合作学习将称王

过去,我们有单纯分析目标函数的整体 DL 系统。未来,我们期待看到系统由两个或两个以上的网络相互合作或竞争,从而获得最优的解决方案,这个解决方案很可能不是以解析的形式出现。此处可参见《游戏理论揭示未来深度学习》(Game Theory reveals the future of Deep Learning,http://medium.com/intuitionmachine/game-theory-maps-the-future-of-deep-learning-21e193b0e33a)这篇文章。2017年将会涌现出大量的研究,用于尝试管理非平衡环境。我们现在已经看到,研究人员正在努力使用 GANs 去找到可以处理非平衡状态的方法。

6. 预测学习或者无监督学习的进展不会太多

当谈及当下常见的术语“无监督学习”时,Yann LeCun 认为“预测学习”将是新的流行语。现在,我们还不能确定预测学习的应用范围会不会进一步扩大。其中的问题是,预测学习是否能在2017年取得较大的突破。我现在的感觉是这件事情并不简单,因为还不太清除其运行的机制,在概念上依然存在着很大的脱节。

如果你阅读过我之前写的 5 Capabilities of Deep Learning Intelligence 一文(http://medium.com/intuitionmachine/five-levels-of-capability-of-deep-learning-ai-4ac1d4a9f2be),你就会明白,预测学习是一种完全未知的能力,依然处于非常陌生的状态。预测学习就像是宇宙学家所说的暗物质:我们知道它就在那个地方,但就是不知道怎样才能看到它。我预感,它可能与高的熵或者其他的随机性有关。

7. 从学习到工业化的转化

吴恩达认为这是很重要的,我也这么认为!

8. 深度学习将会成为更多应用的组成部分

在2016年我们就已经看到,深度学习在比以往更大型的搜索算法中用作函数评估。AlphaGo 在其价值评估和策略评估上使用的就是深度学习。而 Google 的 Gmail 自动答复系统也使用了将 DL 与定向搜索想结合的方法。我期待能看到更多的混合算法,而不是新的端到端的训练过的 DL 系统。端到端的深度学习是一个令人着迷的研究领域,但是迄今为止混合系统在应用领域会更有效率。

9. 采用设计模式的频率会越来越高

深度学习是需要概念框架的众多复杂领域中的一个。尽管涵盖了很多高级的数学公式,但依然存在很多的文字描述和模糊的概念,可以从其他复杂领域中经证实十分有效的方法中获得(如软件开发领域),一般不通过正式而又十分严谨的途径获得。就 Deep Learning and Design Patterns 这篇文章而言(http://www.deeplearningpatterns.com/),我预言广大人工智能从业者一定可以获得设计模型。深度学习框架会变得越来越模块化而不是越来越整体化,这也将会进一步促进上述预言的实现过程。

10. 工程化速度将超过理论出现的速度

研究人员的背景和其使用的数学工具,会使他们在研究过程中会产生一些偏见。深度学习系统和无监督学习系统似乎是我们之前从未遇到过的新事物。因此,没有证据表明传统分析工具会对解开 DL 的实际运作机制提供任何帮助。几十年来,物理学上仍有大量动态系统让我感到困惑,这与动态学习系统的情形相似。

尽管我们缺乏对基本原理的理解,但这种情况不会阻止工程化背景下更为先进的应用程序。深度学习更像是生物学或遗传工程,我们能够创造出仿真学习机器,但是并不能精确地知道其工作的方式。然而,这并不能组织我们创新的脚步。

本文作者 Carlos E. Perez 拥有20年软件开发经验,自2000年以来,他主要担任软件开发中的技术架构师。他是家长控制融合移动电话产品的首席架构师和总监,并且还是一家风险资本资助的初创公司的首席架构师,为 B2B 交易所开发优化解决方案。目前专注于深度学习模式,方法和战略的研究。

本文由 AI100 编译,转载需得到本公众号同意。


编译:AI100

原文链接:https://medium.com/intuitionmachine/10-deep-learning-trends-and-predictions-for-2017-f28ca0666669

原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-02-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【数据分析】Intel研究院院长吴甘沙:大数据分析师的卓越之道

吴甘沙 Intel中国研究院第一位“首席工程师” Intel中国研究院院长 ? 亲爱的各位同仁,各位同学,早上好。讲到大数据,就要问数据分析师应该做什么?所以我...

29750
来自专栏CDA数据分析师

警惕!机器学习入门阶段易犯的5个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。 但一个共同的目标就是要能尽快上手。如果这也是你的目标,那么这篇文章为你列举了程...

18650
来自专栏目标检测和深度学习

VALSE 视觉资源汇总(视频+PPT+文章解读,持续更新)

VALSE(Vision and Learning Seminar, VALSE)发起于2011年,是国内计算机视觉、图像处理、模式识别与机器学习等研究领域的青...

23050
来自专栏CDA数据分析师

一名合格的机器学习工程师需要具备的5项基本技能,你都get了吗?

你是否对机器学习充满兴趣呢?其实到目前为止,每天有越来越多的工程师开始将好奇的目光转向机器学习领域。实际上,你会发现现在没有哪一个领域比机器学习能引起更多的曝光...

20690
来自专栏ATYUN订阅号

成为Beatbox大佬:AI助力将声音转化为节奏

为了帮助崭露头角的音乐家为他们的歌曲创造最佳节奏,来自日本AI创业公司的开发人员开发了一种名为Neural Beatboxer的深度学习系统,可将日常的声音转换...

12830
来自专栏AI科技大本营的专栏

AI 技术讲座精选:​产品经理如何学机器学习——一篇以产品为中心的机器学习概论

我现在常常听说产品负责人/经理、技术经理和设计师通过网上课程学习机器学习。我一直鼓励这种做法——实际上,我本人曾学习过那些课程(并且在博客上发表了相关内容)。但...

31830
来自专栏计算机视觉战队

ML入门阶段易犯的5个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。但一个共同的目标就是要能尽快上手。如果这也是你的目标,那么这篇文章为你列举了程序...

37750
来自专栏机器学习算法工程师

快手类推荐系统实践

1. 什么是推荐系统 推荐系统是一种信息过滤系统,近年来非常流行,应用于各行各业。 比如大家耳熟能详的快手、头条、手机百度、淘宝、京东、应用宝...几乎各个平台...

63950
来自专栏PPV课数据科学社区

【观点】数据挖掘之七种常用的方法

利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等, 它们分别从不同的角度对数据进行挖掘。 ...

35760
来自专栏新智元

【重磅】Facebook贾扬清发文,Caffe2go将开源,手机就能训练神经网络

【新智元导读】Caffe作者,Facebook研究科学家贾扬清11月8日在Facebook官方网站上发文,介绍了他在Facebook 最新的机器学习研究成果——...

442140

扫码关注云+社区

领取腾讯云代金券