专栏首页用户2442861的专栏Alexnet总结/论文笔记

Alexnet总结/论文笔记

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details/81636890

本文主要从如下几个方面分析深度学习Alexnet网络:

1. 为什么Alexnet能在图2012 ImageNet LSVRC-2012 像识别(分类) competition取得这么好的成绩
2. Alexnet的网络结构以及,参数数量的计算
3. 为了避免过拟合使用的技巧:Data Augmentation(数据增强),正则化Relu以及dropout,局部响应归一化LRN。
4. 对比了多个小的卷积核和大的卷积核的区别(前面BAT面试题)。

1. Alexnet取得成功的原因,主要三条:

  1. 大量数据,Deep Learning领域应该感谢李飞飞团队搞出来如此大的标注数据集合ImageNet;
  2. GPU,这种高度并行的计算神器确实助了洪荒之力,没有神器在手,Alex估计不敢搞太复杂的模型;
  3. 算法的改进,包括网络变深、数据增强、ReLU、Dropout等。

2. Alexnet网络结构以及参数数量的计算

Alexnet网络的大体结构如下(论文以及一般的blog都是如下这个图,但是看起来很不直观):

下面给出两个更好理解的结构图,5个卷积层+3个全连接层:

来源:stackoverflow https://www.learnopencv.com/understanding-alexnet/

各层的参数计算如下,下图为5个卷积层的参数

全连接层如下:

可以看到:卷积层的参数明显少于全连接层的参数。其中,网络大概有62.3 million parameters,其中卷积层占比约6%,单占比95%的计算。


3. 为了避免过拟合使用的技巧:Data Augmentation(数据增强),正则化Relu以及dropout

3. 1 Data Augmentation(数据增强)

数据增强简单的办法如,图片翻转Mirroring,随机裁剪Random Crops。

3. 2 使用ReLU非线性激活函数

使用ReLU非线性激活函数而不选择sigmoid或tanh函数,ReLU优势在于:

  1. 速度快 和sigmoid函数需要计算指数和倒数相比,relu函数其实就是一个max(0,x),计算代价小很多。
  2. 减轻梯度消失问题,从而可以训练更深的网络。
  3. 稀疏性 通过对大脑的研究发现,大脑在工作的时候只有大约5%的神经元是激活的,而采用sigmoid激活函数的人工神经网络,其激活率大约是50%。有论文声称人工神经网络在15%-30%的激活率时是比较理想的。因为relu函数在输入小于0时是完全不激活的,因此可以获得一个更低的激活率.
3. 3 使用Dropout(只在最后几个全连接层做)

为什么Dropout有效?

Dropout背后理念和集成模型很相似。在Drpout层,不同的神经元组合被关闭,这代表了一种不同的结构,所有这些不同的结构使用一个的子数据集并行地带权重训练,而权重总和为1。如果Dropout层有 n 个神经元,那么会形成 2^{n} 个不同的子结构。在预测时,相当于集成这些模型并取均值。这种结构化的模型正则化技术有利于避免过拟合。Dropout有效的另外一个视点是:由于神经元是随机选择的,所以可以减少神经元之间的相互依赖,从而确保提取出相互独立的重要特征。

3. 4 局部响应归一化LRN(Local Response Normalization)

提出了LRN层,对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。

补充

2个3*3的卷积层和一个5*5卷积层的区别?(某BAT的一个面试题,也可以理解为多个小的卷积层和一个大的卷积层的区别),问题来源:stackoverflow,VGG中给出了答案,如下:

  1. 多个卷积层可以增加网络的深度,从而学习更复杂的特征
  2. 2个3*3的卷积层的参数少于一个5*5卷积层的参数

参考: https://medium.com/@smallfishbigsea/a-walk-through-of-alexnet-6cbd137a5637 https://www.learnopencv.com/understanding-alexnet/ https://www.nvidia.cn/content/tesla/pdf/machine-learning/imagenet-classification-with-deep-convolutional-nn.pdf https://zhuanlan.zhihu.com/p/22094600

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CNN神经网络的直观解释

    卷积神经网络(ConvNets 或者 CNNs)属于神经网络的范畴,已经在诸如图像识别和分类的领域证明了其高效的能力。卷积神经网络可以成功识别人脸、物体和交通信...

    bear_fish
  • VGG论文笔记/小结

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/d...

    bear_fish
  • 图像卷积与滤波的一些知识点

    之前在学习CNN的时候,有对卷积进行一些学习和整理,后来就烂尾了,现在稍微整理下,先放上来,以提醒和交流。

    bear_fish
  • 为什么MobileNet及其变体如此之快?

    在解释特定的高效 CNN 模型之前,我们先检查一下高效 CNN 模型中组成模块的计算成本,然后看一下卷积是如何在空间和通道中执行的。

    机器之心
  • 干货 | 深度学习之卷积神经网络(CNN)的模型结构

    关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 前言 在前面我们讲述了DNN的模型与...

    昱良
  • 深度学习模型压缩与加速算法之SqueezeNet和ShuffleNet

    自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后,卷积神经网络(CNN)的热潮便席卷了整个计算机视觉领域。CNN模型火速替...

    深度学习思考者
  • 探索图片的真相--卷积神经网络

    今天给大家带来的是卷积神经网络,听上去是不是挺高大上的?它还有个更响亮的名字CNN,谈到CNN应该好多同学都略知一二吧,CNN在做图像识别上有着很出色的效果,那...

    我被狗咬了
  • 大会 | 360副总裁颜水成博士:技术与产品并重,1×1卷积让深度学习更出彩 | CCF-GAIR 2017

    7 月 7 日,由中国计算机学会(CCF)主办,雷锋网与香港中文大学(深圳)承办的CCF-GAIR 2017全球人工智能与机器人峰会在深圳大中华喜来登酒店如期开...

    AI科技评论
  • ​ICCV 2019 Oral论文:KAUST提出大幅加深图卷积网络的新方法

    论文作者:Guohao Li, Matthias Müller, Ali Thabet, Bernard Ghanem

    机器之心
  • 神经网络体系搭建(三)——卷积神经网络

    本篇是神经网络体系搭建的第三篇,解决体系搭建的卷积神经网络相关问题,详见神经网络体系搭建(序) 卷积神经网络(CNN) ? CNN是什么 卷积神经网络是一种空间...

    刘开心_1266679

扫码关注云+社区

领取腾讯云代金券