卷积神经网络的发展历程

深度学习基础理论-CNN篇

卷积神经网络的发展历程

- 01 -

卷积神经网络(Convolutional Neural Networks,简称CNN)是一类特殊的人工神经网络,区别于神经网络其他模型(如,递归神经网络、Boltzmann机等),其最主要的特点是卷积运算操作(convolution operators)。因此,CNN在诸多领域应用特别是图像相关任务上表现优异,诸如,图像分类(image classification)、图像语义分割(image semantic segmentation)、图像检索(image retrieval)、物体检测(object detection)等计算机视觉问题。此外,随着CNN研究的深入,如自然语言处理(natural language processing)中的文本分类,软件工程数据挖掘(software mining)中的软件缺陷预测等问题都在尝试利用卷积神经网络解决,并取得了相比传统方法甚至其他深度网络模型更优的预测效果。本文回顾卷积神经网络的发展历程。

- 02 -

卷积神经网络发展历史中的第一件里程碑事件发生在上世纪60年代左右的神经科学(neuroscience)中,加拿大神经科学家David H. Hubel和Torsten Wisesel于1959年提出猫的初级视皮层中单个神经元的“感受野”(receptive field)概念,紧接着于1962年发现了猫的视觉中枢里存在感受野、双目视觉和其他功能结构,标志着神经网络结构首次在大脑视觉系统中被发现。

图1Torsten Wisesel(左)和David H. Hubel(右)。因其在视觉系统中信息处理方面的杰出贡献,两人于1981年获得诺贝尔生理学或医学奖。

- 03 -

1980年前后,日本科学家福岛邦彦(Kunihiko Fukushima)在Hubel和Wiesel工作的基础上,模拟生物视觉系统并提出了一种层级化的多层人工神经网络,即“神经认知”(neurocognitron),以处理手写字符识别和其他模式识别任务。神经认知模型在后来也被认为是现今卷积神经网络的前身。在福岛邦彦的神经认知模型中,两种最重要的组成单元是“S型细胞”(S-cells)和“C型细胞”(C-cells),两类细胞交替堆叠在一起构成了神经认知网络。其中,S型细胞用于抽取局部特征(local features),C型细胞则用于抽象和容错,如图2所示,不难发现这与现今卷积神经网络中的卷积层(convolution layer)和汇合层(pooling layer)可一一对应。

图2 1980年福岛邦彦提出的神经认知模型

随后,Yann LeCuu等人在1998年提出基于梯度学习的卷积神经网络算法,并将其成功用于手写数字字符识别,在那时的技术条件下就能取得低于1%的错误率。因此,LeNet这一卷积神经网络便在当时效力于全美几乎所有的邮政系统,用来识别手写邮政编码进而分拣邮件和包裹。可以说,LeNet是第一个产生实际商业价值的卷积神经网络,同时也为卷积神经网络以后的发展奠定了坚实的基础。鉴于此,Google在2015年提出GoogLeNet时还特意将“L”大写,从而向“前辈”LeNet致敬。

图3 LeNet-5结构:一种用于字符识别的卷积神经网络。其中,每一个“矩形”代表一张特征图(feature map),最后是两层全连接层(fully connected layer)

- 04 -

时间来到2012年,在有计算机视觉界“世界杯”之称的ImageNet图像分类竞赛四周年之际,Geoffrey E. Hinton等人凭借卷积神经网络Alex-Net力挫日本东京大学、英国牛津大学VGG组等劲旅,且以超过第二名近12%的准确率一举夺得该竞赛冠军,霎时间学界业界纷纷惊愕哗然。自此便揭开了卷积神经网络在计算机视觉领域逐渐称霸的序幕,此后每年ImageNet竞赛的冠军非深度卷积神经网络莫属。直到2015年,在改进了卷积神经网络中的激活函数(activation function)后,卷积神经网络在ImageNet数据集上的性能(4.94%)第一次超过了人类预测错误率(5.1%)。近年来,随着神经网络特别是卷积神经网络相关领域研究人员的增多、技术的日新月异,卷积神经网络也变得愈宽愈深愈加复杂,从最初的5层、16层,到诸如MSRA提出的152层ResidualNet甚至上千层网络已被广大研究者和工程实践人员司空见惯。

不过有趣的是,图4为Alex-Net网络结构,可以发现在基本结构方面它与十几年前的LeNet几乎毫无差异。但数十载间,数据和硬件设备(尤其是GPU)的发展确实翻天覆地,它们实际上才是进一步助力神经网络领域革新的主引擎。正是如此,才使得深度神经网络不再是“晚会的戏法”和象牙塔里的研究,真正变成了切实落地可行的工具和应用手段。深度卷积神经网络自2012]年的一炮而红,到现在俨然已成为目前人工智能领域一个举足轻重的研究课题,甚至可以说深度学习是诸如计算机视觉、自然语言处理等领域主宰性的研究技术,同时更是工业界各大公司和创业机构着力发展力求占先的技术奇点。

图4 Alex-Net结构

原文发布于微信公众号 - PaddlePaddle(PaddleOpenSource)

原文发表时间:2018-03-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

练功 | 机器学习应补充哪些数学基础?

编者按:很多同学开始学习机器学习时候遇到的最大障碍就是数学基础,机器学习到底需要学习哪些数据知识?要掌握到什么程度呢?希望这篇文章对于大家学习大数据和机器学习有...

35910
来自专栏华章科技

想了解机器学习?你需要知道的十个基础算法

毫无疑问,作为人工智能的子领域—机器学习在过去的几年中越来越受欢迎。由于大数据是目前科技行业最热门的趋势,基于大量的数据机器学习在提前预测和做出建议方面有巨大的...

763
来自专栏新智元

11位机器学习大牛最爱算法全解

【新智元导读】“你最喜欢的机器学习算法是什么?”这个问题有些像“你最喜欢的颜色是什么?”说不重要吧,细究起来,颇有深意。本文摘选一些机器学习大牛在 Quora ...

3898
来自专栏专知

【深度前沿】基于深度学习的智能视频分析,微软亚洲研究院梅涛博士ACM MM 2017 Tutorial解读

【导读】第25届ACM国际多媒体会议(ACM Multimedia, 简称ACM MM)于2017年10月23日至27日在美国硅谷Mountain View隆重...

5546
来自专栏机器之心

GMIS 2017大会邓力主题演讲:无监督学习的最新进展

机器之心原创 记者:蒋思源 全球机器智能峰会(GMIS 2017),是全球人工智能产业信息服务平台机器之心举办的首届大会,邀请了来自美国、欧洲、加拿大及国内的众...

2976
来自专栏AI2ML人工智能to机器学习

易图秒懂の深度学习诞生 发展篇

在”易图秒懂の深度学习诞生 发展篇“里面, 我们谈到Bengio把梯度下降的问题引到Hinton所在的圈子里。 并且自己做了一个能够通过Pretraining来...

1674
来自专栏人工智能头条

CCAI 2017 | 日本理化学研究所先进智能研究中心主任杉山将:弱监督机器学习的研究进展

894
来自专栏机器之心

ACL 2017 杰出论文公布,国内四篇论文入选(附解读)

机器之心报道 参与:PaperWeekly、机器之心 国际计算语言学协会 (ACL,The Association for Computational Lin...

4107
来自专栏AI科技评论

干货 | 深度学习的可解释性研究(一):让模型「说人话」

不以人类可以理解的方式给出的解释都叫耍流氓,因此,我们要让模型「说人话」。只要记住这三个字,你就差不多把握了可解释性的精髓所在。

1303
来自专栏量化投资与机器学习

【全网首发】——机器学习该如何应用到量化投资系列(一)

有一些单纯搞计算机、数学或者物理的人会问,究竟怎么样应用 ML 在量化投资。他们能做些什么自己擅长的工作。虽然在很多平台或者自媒体有谈及有关的问题,但是不够全面...

3638

扫码关注云+社区

领取腾讯云代金券