深度学习算法原理——经典CNN结构之LeNet-5

论文地址：http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf

LeNet-5 诞生于1994年，是最早的深层卷积神经网络之一，推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet-5。最初被用于手写数字识别，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。

LeNet-5的网络结构入下图所示：

LeNet-5网络结构

LeNet-5中主要由2个卷积层、2个下抽样层（池化层）、3个全连接层组成，其中：

• INPUT为输入，32×3232\times 3232×32的图片；
• C1为卷积，由666个卷积核的大小为5×55\times 55×5组成，stride为111，得到666个28×2828\times 2828×28的feature maps；
• S2为下采样，以2×22\times 22×2为单位的下抽样，使用的平均池化（Average Pooling），得到666个maps；
• C3为卷积，由161616个卷积核的大小为5×55\times 55×5，stride为111，得到161616个10×1010\times 1010×10的feature maps；
• S4为下采样，以2×22\times 22×2为单位的下抽样，使用的平均池化（Average Pooling），得到161616个maps；
• C5为卷积，由120120120个卷积核的大小为5×55\times 55×5，stride为111，得到120120120个1×11\times 11×1的feature maps；

虽然LeNet-5现在已经很少使用，但是其是奠定了现代卷积神经网络的基石之作。