深度学习简史

2018年,ACM(国际计算机学会)决定将计算机领域的最高奖项图灵奖颁给Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton,以表彰他们在计算机深度学习领域的贡献。

这也是图灵奖第三次同时颁给三位获奖者。

用于计算机深度学习的人工神经网络在上世纪80年代就已经被提出,但是在当时科研界由于其缺乏理论支撑,且计算力算力有限,导致其一直没有得到相应的重视。

是这三巨头一直在坚持使用深度学习的方法,并在相关领域进行了深入研究。通过实验发现了许多惊人的成果,并为证明深度神经网络的实际优势做出了贡献。

所以说他们是深度学习之父毫不夸张。

在AI界,当Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton 这三位大神同时出场的时候,一定会有什么大事发生。

最近,深度学习三巨头受ACM通讯杂志之邀,共同针对深度学习的话题进行了一次深度专访,提纲挈领地回顾了深度学习的基本概念、最新的进展,以及未来的挑战。

广大的AI开发者们,看了高人指点之后是不是对于未来之路更加明晰了?下面我们来看看他们都聊了些什么。

深度学习的兴起

在2000年代早期,深度学习引入的一些元素,让更深层的网络的训练变得更加容易,也因此重新激发了神经网络的研究。

GPU和大型数据集的可用性是深度学习的关键因素,也得到了具有自动区分功能、开源、灵活的软件平台(如Theano、Torch、Caffe、TensorFlow等)的增强作用。训练复杂的深度网络、重新使用最新模型及其构建块也变得更加容易。而更多层网络的组合允许更复杂的非线性,在感知任务中取得了意料之外的结果。

深度学习深在哪里?有人认为,更深层次的神经网络可能更加强大,而这种想法在现代深度学习技术出现之前就有了。但是,这样的想法其实是由架构和训练程序的不断进步而得来的,并带来了与深度学习兴起相关的显著进步。

更深层的网络能够更好地概括「输入-输出关系类型」,而这不仅只是因为参数变多了。深度网络通常比具有相同参数数量的浅层网络具有更好的泛化能力。例如,时下流行的计算机视觉卷积网络架构类别是ResNet系列,其中最常见的是ResNet-50,有50层。

图源:知乎@臭咸鱼

深度网络之所以能够脱颖而出,是因为它利用了一种特定形式的组合性,其中一层的特征以多种不同的方式组合,这样在下一层就能够创建更多的抽象特征。

无监督的预训练。当标记训练示例的数量较小,执行任务所需的神经网络的复杂性也较小时,能够使用一些其他信息源来创建特征检测器层,再对这些具有有限标签的特征检测器进行微调。在迁移学习中,信息源是另一种监督学习任务,具有大量标签。但是也可以通过堆叠自动编码器来创建多层特征检测器,无需使用任何标签。

线性整流单元的成功之谜。早期,深度网络的成功,是因为使用了逻辑sigmoid非线性函数或与之密切相关的双曲正切函数,对隐藏层进行无监督的预训练。

长期以来,神经科学一直假设线性整流单元,并且已经在 RBM 和卷积神经网络的某些变体中使用。让人意想不到的是,人们惊喜地发现,非线性整流通过反向传播和随机梯度下降,让训练深度网络变得更加便捷,无需进行逐层预训练。这是深度学习优于以往对象识别方法的技术进步之一。

语音和物体识别方面的突破。声学模型将声波转换为音素片段的概率分布。Robinson、Morgan 等人分别使用了晶片机和DSP芯片,他们的尝试均表明,如果有足够的处理能力,神经网络可以与最先进的声学建模技术相媲美。

2009年,两位研究生使用 NVIDIA GPU ,证明了预训练的深度神经网络在 TIMIT 数据集上的表现略优于 SOTA。这一结果重新激起了神经网络中几个主要语音识别小组的兴趣。2010 年,在不需要依赖说话者训练的情况下,基本一致的深度网络能在大量词汇语音识别方面击败了 SOTA 。2012 年,谷歌显着改善了 Android 上的语音搜索。这是深度学习颠覆性力量的早期证明。

大约在同一时间,深度学习在 2012 年 ImageNet 竞赛中取得了戏剧性的胜利,在识别自然图像中的一千种不同类别的物体时,其错误率几乎减半。这场胜利的关键在于,李飞飞及其合作者为训练集收集了超过一百万张带标签的图像,以及Alex Krizhevsky 对多个 GPU 的高效使用。

深度卷积神经网络具有新颖性,例如,ReLU能加快学习,dropout能防止过度拟合,但它基本上只是一种前馈卷积神经网络,Yann LeCun 和合作者多年来一直都在研究。

计算机视觉社区对这一突破的反应令人钦佩。证明卷积神经网络优越性的证据无可争议,社区很快就放弃了以前的手工设计方法,转而使用深度学习。

深度学习近期的主要成就

三位大神选择性地讨论了深度学习的一些最新进展,如软注意力(soft attention)和Transformer 架构。

深度学习的一个重大发展,尤其是在顺序处理方面,是乘法交互的使用,尤其是软注意力的形式。这是对神经网络工具箱的变革性补充,因为它将神经网络从纯粹的矢量转换机器,转变为能够动态选择对哪些输入进行操作的架构,并且将信息存储在关联存储器中。这种架构的关键特性是,它们能有效地对不同类型的数据结构进行操作。

软注意力可用于某一层的模块,可以动态选择它们来自前一层的哪些向量,从而组合,计算输出。这可以使输出独立于输入的呈现顺序(将它们视为一组),或者利用不同输入之间的关系(将它们视为图形)。

Transformer 架构已经成为许多应用中的主导架构,它堆叠了许多层“self-attention”模块。同一层中对每个模块使用标量积来计算其查询向量与该层中其他模块的关键向量之间的匹配。匹配被归一化为总和1,然后使用产生的标量系数来形成前一层中其他模块产生的值向量的凸组合。结果向量形成下一计算阶段的模块的输入。

模块可以是多向的,以便每个模块计算几个不同的查询、键和值向量,从而使每个模块有可能有几个不同的输入,每个输入都以不同的方式从前一阶段的模块中选择。在此操作中,模块的顺序和数量无关紧要,因此可以对向量集进行操作,而不是像传统神经网络中那样对单个向量进行操作。例如,语言翻译系统在输出的句子中生成一个单词时,可以选择关注输入句子中对应的一组单词,与其在文本中的位置无关。

未来的挑战

深度学习的重要性以及适用性在不断地被验证,并且正在被越来越多的领域采用。对于深度学习而言,提升它的性能表现有简单直接的办法——提升模型规模。

通过更多的数据和计算,它通常就会变得更聪明。比如有1750亿参数的GPT-3大模型(但相比人脑中的神经元突触而言仍是一个小数目)相比只有15亿参数的GPT-2而言就取得了显著的提升。

但是三巨头在讨论中也透露到,对于深度学习而言仍然存在着靠提升参数模型和计算无法解决的缺陷。

比如说与人类的学习过程而言,如今的机器学习仍然需要在以下几个方向取得突破:

1、监督学习需要太多的数据标注,而无模型强化学习又需要太多试错。对于人类而言,像要学习某项技能肯定不需要这么多的练习。

2、如今的系统对于分布变化适应的鲁棒性比人类差的太远,人类只需要几个范例,就能够快速适应类似的变化。

3、如今的深度学习对于感知而言无疑是最为成功的,也就是所谓的系统1类任务,如何通过深度学习进行系统2类任务,则需要审慎的通用步骤。在这方面的研究令人期待。

在早期,机器学习的理论学家们始终关注于独立相似分布假设,也就是说测试模型与训练模型服从相同的分布。而不幸的是,在现实世界中这种假设并不成立:比如说由于各种代理的行为给世界带来的变化,就会引发不平稳性;又比如说总要有新事物去学习和发现的学习代理,其智力的界限就在不断提升。

所以现实往往是即便如今最厉害的人工智能,从实验室投入到实际应用中时,其性能仍然会大打折扣。

所以三位大神对于深度学习未来的重要期待之一,就是当分布发生变化时能够迅速适应并提升鲁棒性(所谓的不依赖于分布的泛化学习),从而在面对新的学习任务时能够降低样本数量。

如今的监督式学习系统相比人类而言,在学习新事物的时候需要更多的事例,而对于无模型强化学习而言,这样的情况更加糟糕——因为相比标注的数据而言,奖励机制能够反馈的信息太少了。

所以,我们该如何设计一套全新的机械学习系统,能够面对分布变化时具备更好的适应性呢?

从同质层到代表实体的神经元组

如今的证据显示,相邻的神经元组可能代表了更高级别的向量单元,不仅能够传递标量,而且能够传递一组坐标值。这样的想法正是胶囊架构的核心,在单元中的元素与一个向量相关联,从中可以读取关键向量、数值向量(有时也可能是一个查询向量)。

适应多个时间尺度

大多数神经网络只有两个时间尺度:权重在许多示例中适应得非常慢,而行为却在每个新输入中对于变化适应得非常快速。通过添加快速适应和快速衰减的“快速权重”的叠加层,则会让计算机具备非常有趣的新能力。

尤其是它创建了一个高容量的短期存储,可以允许神经网络执行真正的递归,,其中相同的神经元可以在递归调用中重复使用,因为它们在更高级别调用中的活动向量可以重建稍后使用快速权重中的信息。

多时间尺度适应的功能在元学习(meta-learning)中正在逐渐被采纳。

更高层次的认知

在考虑新的任务时,例如在具有不一样的交通规则的城市中驾驶,甚至想象在月球上驾驶车辆时,我们可以利用我们已经掌握的知识和通用技能,并以新的方式动态地重新组合它们。

但是当我们采用已知的知识来适应一个新的设置时,如何避免已知知识对于新任务带来的噪音干扰?开始步骤可以采用Transformer架构和复发独立机制Recurrent Independent Mechanisms)。

对于系统1的处理能力允许我们在计划或者推测时猜测潜在的好处或者危险。但是在更高级的系统级别上,可能就需要AlphaGo的蒙特卡罗树搜索的价值函数了。

机械学习依赖于归纳偏差或者先验经验,以鼓励在关于世界假设的兼容方向上学习。系统2处理处理的性质和他们认知的神经科学理论,提出了几个这样的归纳偏差和架构,可以来设计更加新颖的深度学习系统。那么如何训练神经网络,能够让它们发现这个世界潜在的一些因果属性呢?

在20世纪提出的几个代表性的AI研究项目为我们指出了哪些研究方向?显然,这些AI项目都想要实现系统2的能力,比如推理能力、将知识能够迅速分解为简单的计算机运算步骤,并且能够控制抽象变量或者示例。这也是未来AI技术前进的重要方向。

听完三位的探讨,大家是不是觉得在AI之路上,光明无限呢?

参考资料:

https://cacm.acm.org/magazines/2021/7/253464-deep-learning-for-ai/fulltext

本文分享自微信公众号 - 机器学习与统计学(tjxj666)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-07-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习简史

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    狼啸风云
  • 神经网络和深度学习简史(全)

    深度学习掀起海啸 如今,深度学习浪潮拍打计算机语言的海岸已有好几年,但是,2015年似乎才是这场海啸全力冲击自然语言处理(NLP)会议的一年。——Dr. Chr...

    小莹莹
  • 【干货】神经网络和深度学习简史

    作者:机器之心 深度学习掀起海啸 如今,深度学习浪潮拍打计算机语言的海岸已有好几年,但是,2015年似乎才是这场海啸全力冲击自然语言处理(NLP)会议的一年。—...

    钱塘数据
  • (图解)类神经网络的复兴:深度学习简史

    前述:人工智能与机器学习的演进 1950年代计算机发明以来,科学家便希冀着利用计算机创造出人工智能。然而当时的人工智能理论采用的是逻辑推理方法,需要百分之百确...

    GPUS Lady
  • 资源 | 从最小二乘到DNN:六段代码了解深度学习简史

    选自floydhub 机器之心编译 参与:路雪、刘晓坤、黄小天 六段代码使深度学习发展成为今天的模样。本文介绍它们的发明者和背景。每个故事包括简单的代码示例,均...

    机器之心
  • LSTM之父发文:2010-2020,我眼中的深度学习十年简史

    作为LSTM发明人、深度学习元老,Jürgen Schmidhuber于2月20日发表了一篇博文,着重介绍了近十年来基于作者研究工作最重要的开发和应用,最后对2...

    CV君
  • LSTM之父发文:2010-2020,我眼中的深度学习十年简史

    作为LSTM发明人、深度学习元老,Jürgen Schmidhuber于2月20日发表了一篇博文,着重介绍了近十年来基于作者研究工作最重要的开发和应用,最后对2...

    AI科技大本营
  • 理解计算:从根号2到AlphaGo第8季 深度学习发展简史

    在本系列的2,3,4季中,我们分别介绍了神经网络的生物学背景,最早的关于神经元的数学模型,以及具有学习功能的感知机。我们现在已经知道,如何学习神经网络的参数是最...

    SIGAI学习与实践平台
  • 深度学习框架简史:TF和PyTorch双头垄断,未来十年迎来黄金时期

    过去十年,机器学习(尤其是深度学习)领域涌现了大量算法和应用。在这些深度学习算法和应用涌现的背后,是各种各样的深度学习工具和框架。它们是机器学习革命的脚手架:T...

    CDA数据分析师
  • 微软人工智能首席科学家邓力:深度学习十年简史和人工智能未来展望(33PDF下载)

    【新智元导读】微软人工智能首席科学家邓力18日在首届世界人工智能大会 AI WORLD 2016 发表主旨演讲《深度学习十年简史和人工智能未来展望》。邓力博士回...

    新智元
  • 【更正】微软人工智能首席科学家邓力:深度学习十年简史和人工智能未来展望(33PDF下载)

    【新智元导读】微软人工智能首席科学家邓力18日在自动化学会与新智元携手举办的首届 AI WORLD 2016世界人工智能大会 发表主旨演讲《深度学习十年简史和...

    新智元
  • 深度学习发展史

    作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是经历了一段漫长的发展史。接下来我们了解...

    磐创AI
  • 深度学习(deep learning)发展史

    源 | 小象 本文节选自人民邮电出版社最新出版的 AI 圣经《深度学习DEEP LEARNING[1]》。《深度学习DEEP LEARNING[2]》英文版由美...

    昱良
  • 深度学习简述

    作为人工智能领域里最热门的概念,深度学习会在未来对我们的生活产生显著的影响,或许现在已经是了,从 AlphaGo 到 iPhone X 上的人脸识别(FaceI...

    朱晓霞
  • 深度学习简介

    人工智能包括了机器学习和深度学习,机器学习包括了深度学习,他们是父类和子类的关系,可参考下面的图:

    用户6021899
  • [深度学习概念]·深度学习简介

    我们生活在这样一个世界:无论好坏,我们总是被深度学习算法所包围。从社交网络过滤到自动驾驶汽车,再到电影推荐,金融欺诈检测,药物发现……深度学习影响着我们的生活和...

    小宋是呢
  • 深度学习的历史和趋势

    引言: 本文是黄文辉同学的第4篇文章,前面三篇分别是: SparkStreaming窗口操作 sqoop数据导入总结 SparkStreaming入门 最近AI...

    大数据和云计算技术
  • 从零开始深度学习(二):深度学习简介

    文章首发于本人CSDN账号:https://blog.csdn.net/tefuirnever

    我是管小亮
  • 深度学习简易入门

    深度学习是机器学习中的一个重要的方向,深度学习其实就是神经网络学习,这里“深度”就是说神经网络中众多的层。

    MelonTeam

扫码关注云+社区

领取腾讯云代金券