【深度学习算法原理】经典CNN结构——AlexNet

1. 概述

AlexNet卷积神经网络在CNN的发展过程中起着非常重要的作用，AlexNet是由加拿大多伦多大学的Alex Krizhevsky等人提出。

2. 算法的基本思想

2.1. AlexNet的网络结构

AlexNet的网络结构如下图所示：

抛开两个GPU的结构不说，这主要是因为受当时的计算环境的影响。对于AlexNet的结构，从上面的图可以看出，AlexNet网络中包含5个卷积层和3个全连接层。

2.2. AlexNet网络结构的主要特点

在神经网络中，使用的激活函数通常有：Sigmoid函数，Tanh函数。这两个激活函数属于饱和非线性（saturating nonlinearities），在训练的过程中会出现梯度弥散的现象（反向传播时梯度接近为0），在梯度下降法过程中比非饱和非线性的激活函数的训练速度慢，而Rectified Linear Units（ReLUs） 。

ReLu激活函数的具体形式为：

f(x)=max(0,x)

其函数的图像如下图所示：

参考文章

• ImageNet Classification with Deep Convolutional Neural Networks