专栏首页机器学习算法与理论深度学习核心技术实战——图像分类模型

深度学习核心技术实战——图像分类模型

一、图像分类模型:

1.LeNet-5: 每一个卷积核都会形成一个特征图,3个通道则是每个通道是不同的卷积核,但是最后是将三通道的卷积值相加,最后变成一个通道,所以5564的卷积核,感知范围是5*5,最后出来是64层(个特征图)。每个卷积核都包括w(权重)和b(bias偏置)。LeNet-5最初用于手写数字识别。

2.AlexNet:5个卷积层和3个全连接层 最后输出层是1000类的Softmax。

使用如下创新:

1) ReLU 非线性激活函数

2) 多GPU训练

3) 局部响应归一化

image.png

4) 重叠池化

3.降低过拟合的方法:

1) 数据增强:对图像数据进行变换

2) Dropout 随机的关闭一定比例的节点(神经元)

4.VGGnet:最后输出为4096维,全连接层是1000维(1000类别)。最后一层是Softmax层

隐层使用ReLU

5.GoogleNet:2014ILSVRC分类任务冠军。22层

创新点:用全局平均池化层取代全连接层,借鉴了NIN(network in network)的做法

MLP网络能够更好的拟合局部特征,也增强了输入局部的表达能力,NIN不在分类层前使用全连接,而是采用全局平均池化。

提高深度网络效果的方式是:增大网络尺寸。但是带来了更多的参数和计算资源需求。

改善方案:

1) 引入稀疏性

2) Hebbin原则:两个神经元同步激发,则他们之间的权重增加,如果单独激发,则权重减少。

GoogleNet就是利用Inception 自动构建非一致结构的神经网络。

ResNet:残差网络 shortcut 一定程度上解决了过深模型梯度发散导致无法训练的问题。

DenseNet 从第一层开始每层都作为后面各层的输入。

Dual Path Network:双通道神经网络

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ResNet和DenseNet

    一个Kernel(一个核KKD,设D个通道channel)就是一个对应的feature map. 第一个核会在每一个通道上都(卷积)走一遍,然后将对应每个通道的...

    微风、掠过
  • 《白话深度学习与Tensorflow》学习笔记(6)生成式对抗网络(GAN)

    生成对抗网络(generative adversarial networks): G:生成式模型 用于生成新的结果;D:判别式模型:将G生成的结果输入到D进行判...

    微风、掠过
  • 《白话深度学习与Tensorflow》学习笔记(1)

    刚入手一本《白话深度学习与Tensorflow》,哈哈,一直看深度学习很火,其实自己一知半解,都没有对这个领域进行一点系统的学习,现在准备看看这本书,开始入门。...

    微风、掠过
  • 学界 | MSRA王井东详解ICCV 2017入选论文:通用卷积神经网络交错组卷积

    机器之心报道 参与:高静宜 7 月 17 日,微软亚洲研究院的一篇论文,《Interleaved Group Convolutions for Deep Neu...

    机器之心
  • 推荐 | 深度学习反卷积最易懂理解

    普通图像反卷积,跟深度学习中的反卷积是一回事吗?别傻傻分不清!其实它们根本不是一个概念

    OpenCV学堂
  • 【Pytorch 】笔记五:nn 模块中的网络层介绍

    疫情在家的这段时间,想系统的学习一遍 Pytorch 基础知识,因为我发现虽然直接 Pytorch 实战上手比较快,但是关于一些内部的原理知识其实并不是太懂,这...

    阿泽 Crz
  • 深度学习: 感受野 (receptive field)

    感受野的计算 主要与 卷积层 和 池化层 的 窗口大小 (size)、移动步长 (stride) 以及 填充 (padding) 有关。

    JNingWei
  • 【论文笔记】Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition

    目前的卷积神经网络普遍使用3×3的卷积神经网络,通过堆叠3×3的卷积核和下采样层,会在减少图像的大小的同时增加感受野,使用小尺度的卷积核存在两个问题:

    绝命生
  • [DeeplearningAI笔记]卷积神经网络4.11一维和三维卷积

    的卷积核(其中 3 表示通道数,一般只关注感受野的大小,而卷积核的深度大小与输入的通道数相同)进行卷积,则得到大小为

    DrawSky
  • 深度学习(二)神经网络中的卷积和反卷积原理

    原文地址:https://www.cnblogs.com/DOMLX/p/9579392.html

    徐飞机

扫码关注云+社区

领取腾讯云代金券