深度学习的时代将结束：25年16625 篇论文佐证

作者：《麻省理工学院科技评论》杂志的 AI 记者Karen Hao

我们分析了16625篇论文，以洞察AI下一步的发展方向

我们深入研读了25年来的AI研究论文，结果表明深度学习的时代即将结束。

如今你听到的关于AI的几乎所有内容都归功于深度学习。这类算法的工作原理是使用统计方法来查找数据中的模式；事实证明，深度学习在模仿人类技能（比如我们的视觉和听觉能力）方面功能异常强大，它甚至可以模仿我们推理的能力。这些功能在幕后支持谷歌的搜索、Facebook的新闻源和Netflix的推荐引擎，并正在彻底改变医疗保健和教育等行业。

不过虽然深度学习凭一己之力将AI推入了公众视野，但它只是全人类竭力复制自身智慧的历史长河中的一小朵浪花。它在不到10年的时间里处于这方面的最前沿。如果你综观这个领域的整个历史，很容易意识到深度学习可能很快行将消失。

华盛顿大学的计算机科学教授、《终极算法》一书的作者 Pedro Domingos说：“要是有人在2011年撰文称，深度学习很快消失的言论几年后会出现在报刊杂志的头版，我们可能会这么说‘哇，你是不是吃错药了。’”

他表示，长期以来，不同技术的突然兴衰起落已成为AI研究领域的特征。每隔十年，不同想法之间就会出现一番激烈的竞争。之后，偶尔会出现大反转，这个圈子中的每个人就某一种特定的想法达成共识。

我们《麻省理工学院科技评论》杂志（MIT Technology Review）想要直观地呈现这些变化。于是，我们将目光投向最庞大的科学论文开源数据库之一：arXiv。我们下载了2018年11月18日之前归属“AI”部分的所有16625篇论文的摘要，跟踪分析了这些年来提及的单词，看看这个领域是如何演变的。

我们从arXiv下载的论文数量

我们通过一番分析，发现了三个主要的趋势：20世纪90年代末和21世纪初向机器学习转变，2010年初开始神经网络日渐普及，以及近几年强化学习大行其道。

有几个地方需要注意。首先，arXiv的AI部分只追溯到1993年，而“AI”这个术语可以追溯到20世纪50年代，所以这个数据库只代表该领域发展史的几个最新章节。其次，每年添加到数据库中的论文只代表当时该领域所做工作的一小部分。不过，arXiv还是提供了出色的资源，便于汇集一些较大的研究趋势，并了解不同想法的角力。

一种机器学习范式

我们发现的最大转变是21世纪初期离基于知识的系统渐行渐远。这种计算机程序基于这个想法：你可以使用规则来编码所有的人类知识。研究人员求助于机器学习，这个大类的算法包括深度学习。

在提及的前100个单词中，与基于知识的系统相关的那些单词（比如“逻辑”、“约束”和“规则”）跌势最猛。而与机器学习有关的那些单词（比如“数据”、“网络”和“性能”）增势最猛。

机器学习让基于知识的推理相形见绌

每1000个单词的单词频率

这种巨大变化的原因相当简单。在80年代，由于试图在机器中重现常识的雄心勃勃的项目激动人心，基于知识的系统积累了一大批拥趸。但随着那些项目逐渐展开来，研究人员遇到了一大问题：如果一个系统要做任何有用的事情，需要编写的规则实在太多了。这增加了成本，并严重阻碍了后期的日常工作。

机器学习成为了解决这个问题的答案。这种方法不是要求人们手动编码成千上万条规则，而是对机器编程，以便从一堆数据中自动提取那些规则。正因为如此，这个领域摈弃了基于知识的系统，改而转向完善机器学习。

神经网络的繁荣期

在新的机器学习范式下，并没有立即出现向深度学习转变的一幕。相反，正如我们对关键术语的分析显示的那样，除了深度学习的核心机制神经网络外，研究人员还测试了众多方法。另外一些流行的技术包括贝叶斯网络、支持向量机和进化算法，所有这些技术都采用了不同的方法来查找数据中的模式。

神经网络取代其他机器学习方法

在20世纪90年代和2000年代，所有这些方法之间存在着稳定的竞争。然后在2012年，一项关键的突破导致了另一次巨大变化。在旨在推动计算机视觉发展的一年一度的ImageNet比赛期间，一位名叫Geoffrey Hinton的研究人员及其在多伦多大学的同事在图像识别方面获得了最佳准确度，整整高出10个百分点。

他使用的技术即深度学习引发了一波新的研究：先是在视觉领域内部，然后扩大到另外的领域。随着越来越多的研究人员开始使用深度学习来获得令人印象深刻的结果，深度学习的受欢迎程度急剧提高，神经网络随之走红。

加强学习方兴未艾

我们的分析表明，在深度学习崛起后的几年里，AI领域出现了第三次也是最后一次转变。

除了机器学习中的不同技术外，还有三种不同的类型：监督学习、非监督学习和强化学习。监督学习是最常用的一种，也是迄今为止最实用的应用，它需要为机器馈送经过标记的数据。然而在过去几年，强化学习在论文摘要中的提及率迅速增加，它模仿通过奖惩机制训练动物的过程。

强化学习发展势头正猛

这并不是什么新想法，但几十年来它其实没有真正奏效过。Domingos说：“搞监督学习的人会取笑搞强化学习的人。”但是正如深度学习一样，一个关键时刻突然让强化学习家喻户晓。

那个时刻发生在2015年10月，当时DeepMind研发的AlphaGo用强化学习经过训练后，在古老的围棋比赛中击败了世界冠军。这立即对研究界产生了影响。

下一个十年

我们的分析只不过对AI研究领域的几种主要想法之间的激烈竞争给出了最近写照，但它表明了竭力复制智慧这条道路上的变幻莫测。Domingos说：“认识到没有人知道如何解决这个问题很重要。”

过去25年中使用的许多技术起源于大概同一个时期，即20世纪50年代，因每十年的挑战和成功而失宠和受宠。比如说，神经网络在60年代达到顶峰，80年代回光返照、奄奄一息，但随后因深度学习而重新获得了目前的人气。

换句话说，每十年实际上看到不同技术轮流唱主角：50年代末和60年代的神经网络，70年代的各种象征方法，80年代基于知识的系统，90年代的贝叶斯网络，2000年代的支持向量机，以及2010年代的神经网络。

Domingos表示，20世纪20年代应该没什么不同，这意味着深度学习时代可能很快就会结束。但研究界对于接下来会发生什么莫衷一是、众说纷纭——到底一种旧技术重新获得青睐，还是这个领域会创造一种全新的范式。

Domingos说：“如果你回答了这个问题，我想为这个答案申请专利。”