版权声明:本文为博主原创文章,未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1338329
本文主要从如下几个方面分析深度学习Alexnet网络:
Alexnet网络的大体结构如下(论文以及一般的blog都是如下这个图,但是看起来很不直观):
下面给出两个更好理解的结构图,5个卷积层+3个全连接层:
https://www.learnopencv.com/understanding-alexnet/
各层的参数计算如下,下图为5个卷积层的参数:
全连接层如下:
可以看到:卷积层的参数明显少于全连接层的参数。其中,网络大概有62.3 million parameters,其中卷积层占比约6%,单占比95%的计算。
数据增强简单的办法如,图片翻转Mirroring,随机裁剪Random Crops。
使用ReLU非线性激活函数而不选择sigmoid或tanh函数,ReLU优势在于:
为什么Dropout有效?
Dropout背后理念和集成模型很相似。在Drpout层,不同的神经元组合被关闭,这代表了一种不同的结构,所有这些不同的结构使用一个的子数据集并行地带权重训练,而权重总和为1。如果Dropout层有 n 个神经元,那么会形成 2^{n} 个不同的子结构。在预测时,相当于集成这些模型并取均值。这种结构化的模型正则化技术有利于避免过拟合。Dropout有效的另外一个视点是:由于神经元是随机选择的,所以可以减少神经元之间的相互依赖,从而确保提取出相互独立的重要特征。
提出了LRN层,对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。
2个3*3的卷积层和一个5*5卷积层的区别?(某BAT的一个面试题,也可以理解为多个小的卷积层和一个大的卷积层的区别),问题来源:stackoverflow,VGG中给出了答案,如下:
参考:
https://medium.com/@smallfishbigsea/a-walk-through-of-alexnet-6cbd137a5637