直播 | “深度学习”到底是什么？这篇文章讲明白了

随着阿尔法狗、无人驾驶、智能翻译的横空出世，人工智能这个已经存在60多年的词语，仿佛一夜之间重新成为热词。同时被科技圈和企业界广泛提及的还有机器学习、深度学习、神经网络…… 但事实是，如此喧嚣热烈的气氛之下，大部分人对这一领域仍是一知半解。

如果要说谁有资格谈论目前正在进行的“人工智能革命”，特伦斯·谢诺夫斯基（Terry Sejnowski）必然是其中一个。

在智能翻译、无人驾驶、阿尔法狗、微软小冰还被认为是远在天边的愿景时，谢诺夫斯基就已经在为深度学习领域奠定基础了。

Professor Terry Sejnowski. Image: Salk Institute

谢诺夫斯基是20世纪80年代挑战构建人工智能主流方法的一小撮研究人员之一。他们认为，受大脑生物学启发的、那些被称为神经网络、连接主义和并行分布处理的AI实现方法，会最终解决困扰基于逻辑的AI研究的难题，从而提出了使用可以从数据中学习技能的数学模型。正是这一小群研究人员，证明了基于大脑式的计算的全新方法是可行的，从而为“深度学习”的发展奠定了基础。

借由《深度学习：智能时代的核心驱动力量》一书出版机会，美国科技媒体《The Verge》采访了特伦斯·谢诺夫斯基，与他讨论了人工智能、神经网络、深度学习、机器学习究竟有何区别？为何深度学习突然变得无处不在，它能做什么？不能做什么？以下是采访全文：

《深度学习：智能时代的核心驱动力量》 中信出版集团 2019.2

采访全文

Q：首先，我想问一下定义。人们几乎可以互换地使用人工智能、神经网络、深度学习和机器学习等词语。 但这些是不同的东西，你能解释一下吗？

A ：人工智能可以追溯到1956年的美国，那时工程师们决定编写一个试图仿效智能的计算机程序。

在人工智能中，一个新领域成长起来，称为机器学习。不是编写一个按部就班的程序来做某事——这是人工智能中的传统方法——而是你收集了大量关于你试图理解的事物的数据。例如，设想您正在尝试识别对象，因此您可以收集大量它们的图像。然后，通过机器学习，这是一个可以剖析各种特征的自动化过程，就可以确定一个物体是汽车，而另一个是订书机。

机器学习是一个非常大的领域，其历史可以追溯到更久远的时期。最初，人们称之为“模式识别”。后来算法在数学上变得更加广泛和复杂。

在机器学习中有受大脑启发的神经网络，然后是深度学习。深度学习算法具有特定的体系结构，其中有许多层数据流经的网络。

基本上，深度学习是机器学习的一部分，机器学习是人工智能的一部分。

Q： 有什么“深度学习”能做而其他程序不能做的吗？

A：编写程序非常耗费人力。在过去，计算机是如此之慢，内存非常昂贵，以至于人们采用逻辑，也就是计算机的工作原理，来编写程序。他们通过基础机器语言来操纵信息。计算机太慢了，计算太贵了。

但现在，计算力越来越便宜，劳动力也越来越昂贵。而且计算力变得如此便宜，以至于慢慢地，让计算机学习会比让人类编写程序更有效。在那时，深度学习会开始解决以前没有人编写过程序的问题， 比如在计算机视觉和翻译等领域。

机器学习是计算密集型的，但你只需编写一个程序，通过给它不同的数据集，你可以解决不同的问题。并且你不需要是领域专家。因此，对于存在大量数据的任何事物，都有对应的大量应用程序。

Q：深度学习现在似乎无处不在。 它是如何变得如此主导潮流？

A：我可以在历史上精确地找到这一特定时刻：2012年12月在NIPS会议（这是最大的AI会议）上。在那里，计算机科学家Geoff Hinton和他的两个研究生表明你可以使用一个名为ImageNet的非常大的数据集，包含10,000个类别和1000万个图像，并使用深度学习将分类错误减少20％。

通常，在该数据集上，错误在一年内减少不到1％。 在一年内，20年的研究被跨越了。

这真的打开了潮水的闸门。

Q：深度学习的灵感来自大脑。那么计算机科学和神经科学这些领域如何协同工作呢？

A：深度学习的灵感来自神经科学。最成功的深度学习网络是由Yann LeCun开发的卷积神经网络（CNN）。

如果你看一下CNN的架构，它不仅仅是很多单元，它们以一种基本上镜像大脑的方式连接起来。大脑中被研究的最好的一部分在视觉系统，在对视觉皮层的基础研究工作中，表明那里存在简单和复杂细胞。如果你看一下CNN架构，会发现有简单细胞和复杂细胞的等价物，这直接来自我们对视觉系统的理解。

Yann没有盲目地试图复制皮质。他尝试了许多不同的变种，但他最终收敛到的方式和那些自然收敛到的方式相同。这是一个重要的观察。自然与人工智能的趋同可以教给我们很多东西，而且还有更多的东西要去探索。

Q：我们对计算机科学的理解有多少取决于我们对大脑的理解程度？

A：我们现在的大部分AI都是基于我们对大脑在60年代的了解。 我们现在知道的更多，并且更多的知识被融入到架构中。

AlphaGo，这个击败围棋冠军的程序不仅包括皮质模型，还包括大脑的一部分被称为“基底神经节”的模型，这对于制定一系列决策来实现目标非常重要。 有一种称为时间差分的算法，由Richard Sutton在80年代开发，当与深度学习相结合时，能够进行人类以前从未见过的非常复杂的玩法。

当我们了解大脑的结构，并且当我们开始了解如何将它们集成到人工系统中时，它将提供越来越多的功能，超越我们现在所拥有的。

Q：人工智能也会影响神经科学吗？

A：它们是并行的工作。 创新神经技术已经取得了巨大的进步，从一次记录一个神经元到同时记录数千个神经元，并且同时涉及大脑的许多部分，这完全开辟了一个全新的世界。

我说人工智能与人类智能之间存在着一种趋同。 随着我们越来越多地了解大脑如何工作，这些认识将反映到AI中。 但与此同时，他们实际上创造了一整套学习理论，可用于理解大脑，让我们分析成千上万的神经元以及他们的活动是如何产生的。 所以神经科学和人工智能之间存在这种反馈循环，我认为这更令人兴奋和重要。

Q：你的书讨论了许多不同的深度学习应用，从自动驾驶汽车到金融交易。你觉得哪个特定领域最有趣？

A：我完全被震撼到的一个应用是生成对抗网络，或称GANS。使用传统的神经网络，你给出一个输入，你得到一个输出。 GAN能够在没有输入的情况下开展活动 - 产生输出。

是的，我在这些网络创建假视频的故事背景下听说过这个。他们真的会产生看似真实的新事物，对吧？

从某种意义上说，它们会产生内部活动。事实证明这是大脑运作的方式。你可以看某处并看到一些东西，然后你可以闭上眼睛，你可以开始想象出那里没有的东西。你有一个视觉想象，当周围安静时，你闹钟声会浮现想法。那是因为你的大脑是生成性的。现在，这种新型网络可以生成从未存在过的新模式。所以你可以给它，例如，数百张汽车图像，它会创建一个内部结构，可以生成从未存在的汽车的新图像，并且它们看起来完全像汽车。

Q：另一方面，您认为哪些想法可能是过度炒作？

A：没有人可以预测或想象这种新技术的引入会对未来的事物组织方式产生什么影响。当然这其中有炒作。我们还没有解决真正困难的问题。我们还没有通用智能，就有人说机器人将不久后会取代我们，其实机器人远远落后于人工智能，因为复制身体被发现比复制大脑更复杂。

让我们看一下这一种技术进步：激光。它是在大约50年前发明的，当时占据了整个房间。从占据整个房间到我现在演讲时使用的激光笔需要50年的技术商业化。它必须被推进到体积足够小并可以用五美元购买它的程度。同样的事情将发生在像自动驾驶汽车这样的被炒作的技术上。它并不被期望在明年或者未来10年，就变得无处不在。这过程可能需要花费50年，但重点是，在此过程中会有逐步推进，使它越来越灵活，更安全，更兼容我们组织运输网络的方式。炒作的错误在于人们的时标设定错了。他们期待太多事情太快发生，其实事物只在适当的时候。