专栏首页GiantPandaCV估算卷积层与反卷积层运算量

估算卷积层与反卷积层运算量

本文首发于知乎 https://zhuanlan.zhihu.com/p/65248401

对于炼丹师来说,针对任务调整网络结构或者在做模型精简的时候,都会去考虑模型的运算量的大概值,虽然这个只是一个间接参考值,网络真正的运行速度还要考虑其他的因素(具体解释可以参考shufflenet v2这篇文章的解读)。

那么对于给定一个卷积神经网络的模型定义,该如何估算其浮点数运算量。对卷积神经网络来说,卷积层的运算量是占网络总运算量的大头,而对于一些像素级别任务,反卷积层也要算上。

网上有很多介绍如何计算卷积网络运算量的文章,基本都是介绍卷积还有全连接等一些常用的层是如何计算的,但很少有介绍反卷积层的运算量如何计算。

本文主要内容是介绍卷积、反卷积、分组卷积和分组反卷积的运算量分别是如何估算出来的。

本文相关代码,计算MXNet网络运算量的小工具:

Python版本:https://github.com/Ldpe2G/DeepLearningForFun/tree/master/MXNet-Python/CalculateFlopsTool

Scala版本:https://github.com/Ldpe2G/DeepLearningForFun/tree/master/Mxnet-Scala/UsefulTools

普通卷积

普通卷积层的运算量很多文章都已经讲过如何计算了,这里也重复讲下,为后面介绍反卷积的运算量做铺垫。卷积的运算一般的实现就是转化为矩阵乘法运算,首先来看一下卷积运算的简单的示意图:

首先左上角定义了输入和输出的feature map的形状,假设卷积核大小是,所以权值的形状就是 。

然后一般来说实现卷积的前向是通过首先对输入的feature map应用im2col操作,从 形状的矩阵,转换成形状是 的矩阵,接着与权值相乘,就得到右边的输出。所以卷积前向的运算量是:

当然卷积运算的时候除了乘法还有加法,而我这了只算了乘法的次数。

如果加上加偏置的计算,运算量就是:

下面这个仓库的代码在计算运算量的时候也是只算了乘法: https://github.com/albanie/convnet-burden

卷积的反向和接下来要介绍和反卷积的前向是对应的,这里简单提一下卷积的反向过程,求输入的梯度的时候是把权值转置,然后与输出的梯度相乘就得到中间结果,然后再做一个col2im操作把中间结果回填到输入梯度矩阵的对应位置上。

普通反卷积

接着我们来看下普通反卷积的运算量的计算方法,首先看一下反卷积前向和后向运算过程的示意图:

左上角也是定义了反卷积的输入与输出的feature map大小,这里反卷积的权值的形状与卷积有点不同,是 ,这是因为反卷积的前向和后向操作分别是对应卷积的后向和前向,也就是刚好反过来的。

然后我们直接看反卷积的前向操作,和卷积的后向操作对应,权值做转置与输入feature map做一个乘法,这里可以看成是一个的卷积,输出通道数是 ,然后的到中间结果,然后再做一个col2im的操作回填到输出feature map对应的位置上。所以反卷积的运算量如下:

同样 部分也是只考虑了乘法次数,还有后面的col2im回填累加其实也会占据运行时间的,但是这里没有加上这个加法次数的时间。

加上偏置的话则是:

所以计算反卷积的运算量是需要知道输入与输出feature map大小的。

分组卷积

分组卷积的运算量其实就是直接把卷积的运算量除以组数,比如分为g组,继续沿用上面卷积的运算量公式的话,那么分组卷积的运算量为:

加上偏置的话就是:

具体是怎么算出来的呢,直接看下面的示意图就应该很清晰了:

左上角定义了输入与输出feature map的大小还有卷积的分组数,则根据分组卷积的定义,输出feature map的通道 被分成了 组,每组里面的 个feature map链接输入的对应索引的 个通道的feature map。

所以看上图,在把输入作im2col操作的时候也是按组来做的,每组 feature map 都会生成一个 的矩阵,然后与对应的权值做乘法,就是图中的相同颜色部分,每组做完乘法就得到了输出feature map,如果还有偏置则是最后再加上,所以分组卷积的运算量就可以求到的了。

分组反卷积

来看下反卷积,有了分组卷积的铺垫,分组反卷积也不难求,分组反卷积的FP同样也是对应分组卷积的BP:

同样的,左上角定义了分组反卷积的输入和输出feature map大小,分组数为 。同样的输出feature map的通道 被分成了 组,每组里面的 个feature map链接输入的对应索引的 个通道的feature map。

然后在前向过程中,对于每组的计算,权值首先需要转置一下,得到 的权值矩阵然后和输入对应的组数做乘法,然后得到输出对应的组的中间结果,然后每一组的中间结果再通过 col2im 回填到输出 feature map 对应的组的位置。

所以分组反卷积的运算量如下:

如果有偏置的话就是:

如果想更加详细的了解代码上的实现,读者可以参考MXNet中反卷积权值shape的推断部分,还有反卷积前向部分代码,或者一些推理框架,比如NCNN和MNN的实现。

相关资料

  • [1] https://www.zhihu.com/question/328891283/answer/717113611
  • [2] https://www.zhihu.com/question/48279880/answer/838063090

本文分享自微信公众号 - GiantPandaCV(BBuf233),作者:梁德澎

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深入理解神经网络中的反(转置)卷积

    本文主要是把之前在知乎上的回答[1,2]重新整理了一下并且加了一些新的内容。对于像素级的任务,在decoder部分都会用一些常规操作去逐步恢复feature m...

    BBuf
  • 卷积神经网络学习路线(一)| 卷积神经网络的组件以及卷积层是如何在图像中起作用的?

    这是卷积神经网络学习路线的第一篇文章,这篇文章主要为大家介绍卷积神经网络的组件以及直观的为大家解释一下卷积层是如何在图像中发挥作用的。

    BBuf
  • 卷积神经网络学习路线(二)| 卷积层有哪些参数及常用卷积核类型盘点?

    上一篇推文介绍了卷积神经网络的组成层以及卷积层是如何在图像中起作用的,推文地址为:https://mp.weixin.qq.com/s/MxYjW02rWfRK...

    BBuf
  • CNN卷积神经网络分析

    CNN最大的优势在特征提取方面。由于CNN的特征检测层通过训练数据进行学习,避免了显示的特征抽取,而是隐式地从训练数据中进行学习;再者由于同一特征映射面上的神经...

    用户1332428
  • 深入理解神经网络中的反(转置)卷积

    本文主要是把之前在知乎上的回答[1,2]重新整理了一下并且加了一些新的内容。对于像素级的任务,在decoder部分都会用一些常规操作去逐步恢复feature m...

    BBuf
  • CNN卷积特征的可视化

    卷积神经网络最早是为了解决图像识别的问题,现在也用在时间序列数据和文本数据处理当中,卷积神经网络对于数据特征的提取不用额外进行,在对网络的训练的过程当中,网络会...

    机器学习AI算法工程
  • 深入理解神经网络中的反(转置)卷积

    本文主要是把之前在知乎上的回答[1,2]重新整理了一下并且加了一些新的内容。对于像素级的任务,在decoder部分都会用一些常规操作去逐步恢复feature m...

    Ldpe2G
  • 面试宝典之深度学习面试题(上)

    金三银四是一年找工作的最好时机,都忙着找工作。找工作就少不了面试,面试就少不做被问各面试题。为了避免大家少走弯路,乘此机会,小编就将平时手里搜集的一些面试题整理...

    小小詹同学
  • 使用Keras进行深度学习(二): CNN讲解及实践

    前言:现今最主流的处理图像数据的技术当属深度神经网络了,尤其是卷积神经网络CNN尤为出名。本文将通过讲解CNN的介绍以及使用keras搭建CNN常用模型LeNe...

    磐创AI
  • CNN卷积神经网络模型搭建

    前段时间尝试使用深度学习来识别评测过程中的图片,以减少人力成本。目前是在深度学习框架Keras(后端使用TensorFlow)下搭建了一个CNN卷积神经网络模型...

    用户5521279

扫码关注云+社区

领取腾讯云代金券