专栏首页Petrichor的专栏深度学习: 感受野 (receptive field)

深度学习: 感受野 (receptive field)

Introduction

感受野:卷积神经网络每一层输出的特征图 (feature map) 上的像素点在原始图像上映射的区域大小。

Size

多层叠加 的 小卷积核 相比于 大卷积核 的:

  • 优势:
    1. 可取得与大卷积核同等规模的感受野;
    2. 加深了网络深度 —> 增强了网络容量和网络复杂度;
    3. 减少了模型参数的个数。
  • 劣势:
    1. 整个网络的总计算量增加(虽然对单个卷积层而言计算量不变,但卷积层数增加了,因此计算总量也就上去了);
    2. 增加了“梯度弥散”的风险(因为层数增加了)。

Compute

感受野的计算 主要与 卷积层池化层窗口大小 (size)移动步长 (stride) 以及 填充 (padding) 有关。

例如,假设在 stride=1,padding=0 的相同前提下,且每层卷积的输出channel都为1:

卷积核方案

三个 3×3×1 的小卷积核叠加

一个 7×7×1 的大卷积核

感受野大小

7×7×1

7×7×1

层数

3

1

参数量

3×(3×3×1)=27

1×(7×7×1)=49

浮点数计算次数

[(3×3×1)×(5×5×1)+(3×3×1)×(3×3×1)+(3×3×1)×(1×1×1)]×2=630

[(7×7×1)×(1×1×1)]×2=98

Summary

  • 在相同感受野的情况下,“叠加小卷积核”的方案节省了参数开销,却增大了浮点数计算次数。
  • 另外,由于增加了网络层数,也会随之带来网络加深的一系列利弊 (模型容量↑ / 模型复杂度↑ / 梯度风险↑ / 收敛难度↑)。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 思考: 根据 图片数据集 规律性 灵活设计 卷积结构

    先用 大卷积核 对输入的整张 feature map 进行第一轮的常规卷积:

    JNingWei
  • 深度学习: convolution (卷积)

    卷积层是没有“厚度”一说的。如果非要有,那么假设一个卷积层由10个滤波器(假设每个滤波器有16通道)组成,那么该卷积层的“厚度”即为10。和输入输出数据那种只需...

    JNingWei
  • 深度学习: 网络超参数设定

    卷积时在 图像每一维([batch, in_height, in_width, in_channels])的步长,这是一个一维的向量,长度4。

    JNingWei
  • 轻量级神经网络系列——MobileNet V1

    自从2017年由谷歌公司提出,MobileNet可谓是轻量级网络中的Inception,经历了一代又一代的更新。成为了学习轻量级网络的必经之路。

    小草AI
  • 卷积为什么如此强大?理解深度学习中的卷积

    译自Tim Dettmers的Understanding Convolution in Deep Learning。有太多的公开课、教程在反复传颂卷积神经网络的...

    机器人网
  • 深度学习-卷积神经网络原理

    卷积神经网络又称作(ConvNet, CNN),它的出现解决了人工智能图像识别的难题,图像识别数据量大,并且在识别的过程中很难保留原有的信息,因此卷积的作用就体...

    用户7760819
  • 【Pytorch 】笔记五:nn 模块中的网络层介绍

    疫情在家的这段时间,想系统的学习一遍 Pytorch 基础知识,因为我发现虽然直接 Pytorch 实战上手比较快,但是关于一些内部的原理知识其实并不是太懂,这...

    阿泽 Crz
  • 【论文笔记】Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition

    目前的卷积神经网络普遍使用3×3的卷积神经网络,通过堆叠3×3的卷积核和下采样层,会在减少图像的大小的同时增加感受野,使用小尺度的卷积核存在两个问题:

    绝命生
  • [DeeplearningAI笔记]卷积神经网络4.11一维和三维卷积

    的卷积核(其中 3 表示通道数,一般只关注感受野的大小,而卷积核的深度大小与输入的通道数相同)进行卷积,则得到大小为

    DrawSky
  • [DeeplearningAI笔记]卷积神经网络1.6-1.7构造多通道卷积神经网络

    为原始图像通道数,p 为 Padding 填充维度,f 为卷积核大小,s 为步长

    DrawSky

扫码关注云+社区

领取腾讯云代金券