卷积神经网络的发展历程
深度学习基础理论-CNN篇
卷积神经网络的发展历程
- 01 -
卷积神经网络（Convolutional Neural Networks，简称CNN）是一类特殊的人工神经网络，区别于神经网络其他模型（如，递归神经网络、Boltzmann机等），其最主要的特点是卷积运算操作（convolution operators）。因此，CNN在诸多领域应用特别是图像相关任务上表现优异，诸如，图像分类（image classification）、图像语义分割（image semantic segmentation）、图像检索（image retrieval）、物体检测（object detection）等计算机视觉问题。此外，随着CNN研究的深入，如自然语言处理（natural language processing）中的文本分类，软件工程数据挖掘（software mining）中的软件缺陷预测等问题都在尝试利用卷积神经网络解决，并取得了相比传统方法甚至其他深度网络模型更优的预测效果。本文回顾卷积神经网络的发展历程。
- 02 -
卷积神经网络发展历史中的第一件里程碑事件发生在上世纪60年代左右的神经科学（neuroscience）中，加拿大神经科学家David H. Hubel和Torsten Wisesel于1959年提出猫的初级视皮层中单个神经元的“感受野”（receptive field）概念，紧接着于1962年发现了猫的视觉中枢里存在感受野、双目视觉和其他功能结构，标志着神经网络结构首次在大脑视觉系统中被发现。
图1Torsten Wisesel（左）和David H. Hubel（右）。因其在视觉系统中信息处理方面的杰出贡献，两人于1981年获得诺贝尔生理学或医学奖。
- 03 -
1980年前后，日本科学家福岛邦彦（Kunihiko Fukushima）在Hubel和Wiesel工作的基础上，模拟生物视觉系统并提出了一种层级化的多层人工神经网络，即“神经认知”（neurocognitron），以处理手写字符识别和其他模式识别任务。神经认知模型在后来也被认为是现今卷积神经网络的前身。在福岛邦彦的神经认知模型中，两种最重要的组成单元是“S型细胞”（S-cells）和“C型细胞”（C-cells），两类细胞交替堆叠在一起构成了神经认知网络。其中，S型细胞用于抽取局部特征（local features），C型细胞则用于抽象和容错，如图2所示，不难发现这与现今卷积神经网络中的卷积层（convolution layer）和汇合层（pooling layer）可一一对应。
图2 1980年福岛邦彦提出的神经认知模型
随后，Yann LeCuu等人在1998年提出基于梯度学习的卷积神经网络算法，并将其成功用于手写数字字符识别，在那时的技术条件下就能取得低于1%的错误率。因此，LeNet这一卷积神经网络便在当时效力于全美几乎所有的邮政系统，用来识别手写邮政编码进而分拣邮件和包裹。可以说，LeNet是第一个产生实际商业价值的卷积神经网络，同时也为卷积神经网络以后的发展奠定了坚实的基础。鉴于此，Google在2015年提出GoogLeNet时还特意将“L”大写，从而向“前辈”LeNet致敬。
图3 LeNet-5结构：一种用于字符识别的卷积神经网络。其中，每一个“矩形”代表一张特征图（feature map），最后是两层全连接层（fully connected layer）
- 04 -
时间来到2012年，在有计算机视觉界“世界杯”之称的ImageNet图像分类竞赛四周年之际，Geoffrey E. Hinton等人凭借卷积神经网络Alex-Net力挫日本东京大学、英国牛津大学VGG组等劲旅，且以超过第二名近12%的准确率一举夺得该竞赛冠军，霎时间学界业界纷纷惊愕哗然。自此便揭开了卷积神经网络在计算机视觉领域逐渐称霸的序幕，此后每年ImageNet竞赛的冠军非深度卷积神经网络莫属。直到2015年，在改进了卷积神经网络中的激活函数（activation function）后，卷积神经网络在ImageNet数据集上的性能（4.94%）第一次超过了人类预测错误率（5.1%）。近年来，随着神经网络特别是卷积神经网络相关领域研究人员的增多、技术的日新月异，卷积神经网络也变得愈宽愈深愈加复杂，从最初的5层、16层，到诸如MSRA提出的152层ResidualNet甚至上千层网络已被广大研究者和工程实践人员司空见惯。
不过有趣的是，图4为Alex-Net网络结构，可以发现在基本结构方面它与十几年前的LeNet几乎毫无差异。但数十载间，数据和硬件设备（尤其是GPU）的发展确实翻天覆地，它们实际上才是进一步助力神经网络领域革新的主引擎。正是如此，才使得深度神经网络不再是“晚会的戏法”和象牙塔里的研究，真正变成了切实落地可行的工具和应用手段。深度卷积神经网络自2012]年的一炮而红，到现在俨然已成为目前人工智能领域一个举足轻重的研究课题，甚至可以说深度学习是诸如计算机视觉、自然语言处理等领域主宰性的研究技术，同时更是工业界各大公司和创业机构着力发展力求占先的技术奇点。
图4 Alex-Net结构