专栏首页有三AI【模型解读】说说移动端基准模型MobileNets

【模型解读】说说移动端基准模型MobileNets

01概述

Google开发的MobileNets【1】是用于嵌入式平台计算机视觉应用的基准模型。MobileNets是流线型的架构,它使用depthwise sparable convolution(深度可分离卷积)来构建轻量级的深层神经网络。通过引入两个简单的全局超参数,可实现在速度和准确度之间有效地进行平衡。这两个超参数允许模型构建者根据问题的约束条件,为其应用选择合适大小的模型。MobileNets应用在广泛的场景中,包括物体检测,细粒度分类,人脸属性等。

02Mobilenets结构

Mobilenets基本组成单元是depthwise sparable convolution+pointwise convolution,下图是其组成结构图。

我们可以看到它由3*3的通道分组卷积(depthwise separable convolution)加1*1的普通卷积(point wise convolution)组成。它的组成结构本质上就是Xception结构,如下图。

从图中可以看出,经过3*3深度卷积,每个通道的输出信息只和之前的对应通道信息相关,而普通3*3卷积每个通道输出信息和之前所有通道信息相关,这是它们的本质区别。

下面我们计算一下depthwise sparable convolution和普通卷积之间的计算量的比较,便于我们客观理解depthwise sparable convolution的有效性。

假设输入图片是DF*DF*M,输出图片是DF*DF*N,卷积核尺度是DK*DK。

普通卷积计算量:

depthwise sparable convolution计算量:

两个比值为:

一般情况下N比较大,当DK=3时,depthwise sparable convolution计算量仅为普通卷积计算量的1/9。

Mobilenets结构就是由这些depthwise sparable convolution+pointwise convolution线性叠加构成的。结构如下图。

从图中可以看出先是一个3*3普通卷积,然后是叠加depthwise sparable convolution+pointwise convolution,之后是全局均值池化,接着是全连接层,最后Softmax输出。

下图是MobileNets和各个网络的比较。

可以看出在参数量减小的领先优势之下,还能取的很高的准确率。

03模型压缩

可以通过定义width multiplier α(宽度乘数)和resolution multiplier ρ (分辨率乘数)两个超参数,来实现不同版本的mobilenets,从而实现不同要求的模型压缩。

1.第一个参数α主要是按比例减少通道数,其取值范围为(0,1),α ∈ {1, 0.75, 0.5, 0.25} 的测试效果如下图:

可以看出随着α减小,准确率下降,参数量减小,速度提升。

2.第二个超参数ρ 主要是按比例改变输入数据的分辨率。ρ 如果为{1,6/7,5/7,4/7},则对应输入分辨率为{224,192,160,128}。测试效果如下图:

可以看出,随着分辨率下降,准确率下降,随之速度加快。日常应用中,可以通过这两个参数的选取来综合考虑选择模型。

本文分享自微信公众号 - 有三AI(yanyousan_ai),作者:李健

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【图像分割模型】快速道路场景分割—ENet

    虽然深度神经网络在计算机视觉领域的有效性已经是毋容置疑的了,但是大部分神经网络仍然受限于计算量、存储空间、运算速度等因素,无法应用于实际的计算机视觉任务。

    用户1508658
  • 【分割模型解读】感受野与分辨率的控制术—空洞卷积

    通过前两篇文章,我们了解到分割任务是一个像素级别的任务,因此需要在输入的空间尺寸下对每个像素都有分割的结果。换句话说,如果输入的空间尺寸是HxW,那么输出也需要...

    用户1508658
  • 【AI-1000问】为什么CNN中的卷积核半径都是奇数?

    熟悉CNN应该都知道常见的卷积核都是3*3或者5*5等,也就是奇数*奇数,似乎都没看过偶数的,这是为什么呢?

    用户1508658
  • 正则表达式模式修饰词

    即匹配和替换,缩写为m//和s///(或s###),对应到SAS中的函数就是PRXMATCH和PRXCHANGE,即m/PATTERN/和s/PATTERN/R...

    专业余码农
  • 【哈工大SCIR Lab】Attention!注意力机制可解释吗?

    NAACL 2019《Attention is Not Explanation》

    zenRRan
  • 豪取BAT!超详细暑期实习算法面经(非科班无论文)

    本人基本情况:211本硕,本科电子信息工程,硕士通信与信息系统,典型的非科班,无论文,两段实习经历(均为算法岗,非大厂,一段CV,一段NLP)。

    kaiyuan
  • 如何用神经网络“寻找威利”

    作者:Tadej Magajna 编译:Bing 《威利在哪里?》(Where’s Wally)是由英国插画家马丁·汉德福特(Martin Handford)创...

    企鹅号小编
  • Attention!注意力机制可解释吗?

    自2014年Bahdanau将Attention作为软对齐引入神经机器翻译以来,大量的自然语言处理工作都将其作为模型中一个提升性能的重要模块,大量的实验表明At...

    数据派THU
  • 哈工大SCIR力作:Attention!注意力机制可解释吗?

    EMNLP 2019《Attention is Not Not Explanation》

    AI科技评论
  • 专栏 | MSRA视觉计算组提出第二代可变形卷积网络,增强形变,更好效果

    为了有效地利用这一更强的形变建模能力,研究员们提出了一种利用更精细的驱动力量来引导网络学习的方法,具体来说,考虑到 R-CNN 框架在进行候选框特征提取时能排除...

    机器之心

扫码关注云+社区

领取腾讯云代金券