理解卷积神经网络的利器：9篇重要的深度学习论文

云栖君导读：本文将介绍过去五年内发表的一些重要论文，并探讨其重要性。论文1—5涉及通用网络架构的发展，论文6—9则是其他网络架构的论文。点击原文即可查看更详细的内容哦。

一、AlexNet（2012）

AlexNet是卷积神经网络架构的起源（尽管可能会有人认为，1998年Yann LeCun发表的论文才是真正的开创性出版物）。这篇名为“基于深度卷积网络ImageNet分类（https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf?spm=a2c4e.11153959.blogcont552464.16.2a1e53d0ousmlV&file=4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf）”的论文总共被引用6,184次，被公认为是该领域最具影响力的论文之一。在2012年的ImageNet大规模视觉识别挑战赛中，Alex Krizhevsky等人创建的“大而深的卷积神经网络”取得了大赛冠军——将分类误差从26％降至15％，这是一个惊人的改进，几乎让所有的计算机视觉社区为之震撼。从那时起，卷积神经网络被广泛传播，成了一个家喻户晓的名字。

该论文讨论了AlexNet架构的网络结构。与现代架构相比，AlexNet使用了相对简单的网络结构：由5个卷积层、最大池化层、drop-out层和3个全连接层组成。他们设计的网络可用于对1000个类别进行分类。

主要论点

在ImageNet数据集上训练网络，ImageNet数据集包含超过1500万张注释图像，类别超过22000个。

使用ReLU处理非线性函数（这样可以减少训练时间，因为ReLU比传统的tanh函数运行速度要快几倍）。

使用的数据增强技术包括：图像转换，水平反射和补丁提取。

采用drop-out层，解决了训练数据的过拟合问题。

使用批量随机梯度下降训练架构，其中动量和权重衰减都有固定的具体值。

重要性

Krizhevsky等人在2012年开发出来的神经网络，是卷积神经网络在计算机视觉社区的一场盛宴。这是首次在ImageNet数据集上性能表现非常好的架构，利用了今天仍在使用的技术，如数据增强和dropout。这篇论文阐述了卷积神经网络的优点，并创造了其他神经网络难以逾越的性能。

转自：云栖社区