2018深度学习十大趋势:元学习成新SGD,多数硬件创企将失败

原作 Carlos E. Perez 李杉 编译自 Intuition Machine博客 量子位 出品 | 公众号 QbitAI

2018年,一切可能都会发生戏剧性的变化。

深度学习在2017年取得的那些不可思议的突破,将在2018年全面爆发。去年大量研究工作将转移到日常的软件应用中。

跟去年一样,我也将对2018年的深度学习发展方向展开预测。

1、多数深度学习硬件创业公司都将失败

许多深度学习硬件创业公司将在2018年最终交付他们的芯片。这些都是半成品,因为他们会忘记提供优秀的软件来支持这些新解决方案。这些公司的DNA都在于硬件。不幸的是,在深度学习领域,软件同样重要。这些创业公司大多不懂软件,也不了解开发软件的成本。这些公司可能会提供芯片,但却没有任何东西会在这些芯片上运行。

采用收缩阵列解决方案是一种较易达成的目标,目前已经被采用,所以我们不会像在2017年那样看到很多10倍规模的性能升级。研究人员不仅会用这些Tensor Core进行推理,还可以加快训练速度。

英特尔的解决方案将继续推迟,可能会令人失望。记录表明,英特尔无法在2017年年中发布这款产品,谁也无法预测该公司何时能推出这款产品。如果为时已晚,那就只能变成一颗哑弹。

谷歌将继续凭借TPU的开发给世界带来惊喜。谷歌或许会进入硬件业务,将其知识产权授权给其他半导体厂商。如果它继续成为除了英伟达以外唯一一个真正的参与者,这种做法将很有意义。

2、元学习将成为新的SGD

2017年,元学习领域涌现出很多意义重大的研究。随着研究界对元学习的理解整体得到提升,传统的随机梯度下降法(SGD)将被边缘化,转向更有效的方法,将更具爆发性和探索性的搜索方法结合起来。

无监督学习的进步将会逐步加快,但主要将受到元学习算法的推动。

3、生成模型推动新型建模

生成模型将具备更多的科学探索意义。目前的多数研究都是生成图像和语音。然而,我们应该看到这种方法融合到一些工具之中,用来为复杂的系统建模。其中一个领域是用深度学习建立经济模型。

4、通过自我对局来自动化创建知识

能够从头自学的AlphaGo Zero和AlphaZero是一场巨大的飞跃。在我看来,这跟深度学习的出现拥有同等程度的影响力。深度学习发现了通用函数近似器。而自学则发现了通用的知识创造。

预计自学式机器学习还将取得很多进展。

5、有直觉的机器将填补语义鸿沟

这是我最大胆的一项预测。我们将填补有直觉的机器与理性机器之间的语义鸿沟。对偶过程理论(包括两个认知机器,一个没有模型,另外一个有模型)将在我们开发新的人工智能的过程中成为更加流行的概念。人工直觉的概念不再是一个边缘概念,而是会在2018年成为更为人普遍接受的理念。

6、可解释性无法实现——我们只能伪造

可解释性有两个问题。较为人所知的问题在于,解释有很多规则,人类不可能全部掌握。第二个问题不太为人所知,那就是机器会创造很多人类完全陌生且无法解释的概念。我们已经在AlphaGo Zero和AlphaZero的策略中看到这种现象。人类认为这种举动超出常规,但它们或许只是没有能力理解这种行为背后的逻辑而已。

我认为,这是个无法解决的问题。相反,机器将很擅长“伪造解释”。简单来说,可解释的机器的目标是理解人类感到舒适的那些解释,或者人类在直觉层面能够理解的解释。然而,在多数情况下,都无法对人类完全解释清楚。

我们需要通过“伪造解释”来提高深度学习的可解释性。

7、深度学习研究信息将会大量减少

2017年,人们已经很难跟上深度学习研究进度。ICLR 2018大会上提交的论文约有4000篇。研究人员需要一天阅读10篇论文才能跟上这次大会的进度。

该问题在这一领域还在恶化,因为理论框架在这一过程中都很管用。要在理论上取得进步,就需要找到更先进的数学方法,让我们能够更好地展开分析。这并不容易,原因在于多数深度学习研究人员都没有合适的数学背景,无法理解这些系统的复杂性。深度学习需要研究人员拥有复杂的理论基础,但这种研究人员实际上却很少。

由于论文数量太多,加之糟糕的理论层出不穷,导致我们陷入了如今这个令人不悦的状态。

通用人工智能的通用路线图也有所缺失。理论很薄弱,因此我们能做的就是创造一份路线图,上面配有很多与人类认知有关的里程碑。我们只有一个来自认知心理学的纯理论框架。这种情况很糟糕,因为这些领域的实践证据很匮乏。

深度学习研究论文的数量可能在2018年增长三四倍。

8、通过教学环境实现工业化

想要让深度学习的发展更可预测、更易控制,就需要发展更加具体的教学环境。我之前有过详细阐述。如果你想知道教学技术最为粗糙的表现形式,只需要看看深度学习网络是如何训练的即可。我们都会在这一领域看到更多进步。

预计将有更多公司披露他们的内部基础架构,从而揭示他们是如何大规模部署深度学习的。

9、对话式认知崛起

我们评估通用人工智能的方法过于陈旧。需要通过一种新的范式来解决现实世界的复杂动态。我们未来一年应该看到这一领域出现更多进展。我将在3月1日和2日在阿姆斯特丹的Information Energy 2018大会上探讨这种新的对话式认知范式。

10、我们要求对人工智能的使用符合道德标准。

将有越来越多的人要求人工智能的使用遵守道德标准。人们目前越发意识到自动化失控后产生的恶劣后果。Facebook、Twitter、谷歌、亚马逊等平台上使用的简单的自动化技术都会产生意想不到的社会影响。

在部署那些能够预测人类行为的机器时,我们需要理解其中的伦理道德问题。面部识别就是一项比较危险的功能。能够生成以假乱真的媒体资料的算法会成为大问题。整个社会都应该要求人工智能为社会的整体利益考虑,而不能加剧社会的不平等。

预计未来一年将看到更多关于人工智能伦理问题的讨论。然而,应该不会有新的监管措施出台。政策制定者还需要再过几年才能真正理解人工智能对社会的影响。我不认为他们会停止斗争,解决社会面临的真正问题。美国人口受到很多安全问题的影响,但我们并没有看到新的立法来解决这些严重问题。所以,不要奢望这些问题一夜之间得到解决。

为影响做好准备

2018年很重要,我们都应该系好安全带,迎接即将到来的重大影响。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-01-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏镁客网

「深度」科学家眼中完美的计算机长什么样?

16530
来自专栏AI科技大本营的专栏

CCAI专访 | 杨强教授谈深度学习泡沫、迁移学习机遇与人工智能入门

文 | 胡永波 7 月 22 - 23 日,由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会(C...

418100
来自专栏机器之心

观点 | SwiftKey联合创始人谈智能的基础:创造智能机器也许还需要身体

选自aeon 作者:Ben Medlock 机器之心编译 参与:黄小天、吴攀 本文作者 Ben Medlock 是 SwiftKey 的联合创始人。SwiftK...

353120
来自专栏数据猿

【案例】恒丰银行——基于大数据的精准营销模型应用

数据猿导读 恒丰银行探索的精准营销系统打通银行内外部数据,并利用人工智能技术,对数据进行深度挖掘,打造个性化理财推荐系统,预测客户需求和价值,实现细分客群精准触...

82650
来自专栏云计算

云端生存思考之三:算法制胜,工程亦然

什么是云计算?云计算代表的是社会的量化管理趋势,以大数据的形式表达出来。由于宣传的原因,人人以为大数据就是统计,云计算就是Hadoop,其实我们工程领域的某些计...

21650
来自专栏AI科技评论

地平线机器人CEO余凯:人工智能和深度学习的下一个风口在哪(含22页PPT)

雷锋网按:本文根据余凯在微软亚洲研究院召开的“让世界充满 AI-人工智能研讨会”上所做的报告《 “AI Inside”无处不在的未来 》编辑整理而来,在未改变原...

42140
来自专栏机器之心

观点 | 双盲评审靠谱吗?这篇谷歌清华论文也许能给出答案

选自Google Research 作者:Andrew Tomkins、William D. Heavlin 机器之心编译 参与:刘晓坤、黄小天 谷歌联合清华大...

29960
来自专栏AI科技大本营的专栏

爆款 | Medium上6900个赞的AI学习路线图,让你快速上手机器学习

翻译 | AI科技大本营(rgznai100) 参与 | thinkdeeper Part 1:为什么机器学习如此重要 AI科技大本营编者按: 这篇文章在Med...

35380
来自专栏大数据文摘

李飞飞四大视角看视觉智能:AI会改变世界,谁会改变AI(完整演讲+PPT)

25250
来自专栏机器之心

专访 | 网易有道 CEO 周枫:需求为先的 AI 技术赋能

机器之心原创 作者:邱陆陆 机器翻译领域正经历又一次骤雨疾风般的变革。2014 年,Yoshua Bengio 组做出了第一个循环网络编码器-解码器神经机器翻译...

35580

扫码关注云+社区

领取腾讯云代金券