专栏首页AI人工智能与大数据EfficientNet详解:当前最强网络

EfficientNet详解:当前最强网络

简介

EfficientNet源自Google Brain的论文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. 从标题也可以看出,这篇论文最主要的创新点是Model Scaling. 论文提出了compound scaling,混合缩放,把网络缩放的三种方式:深度、宽度、分辨率,组合起来按照一定规则缩放,从而提高网络的效果。EfficientNet在网络变大时效果提升明显,把精度上限进一步提升,成为了当前最强网络。EfficientNet-B7在ImageNet上获得了最先进的 84.4%的top-1精度 和 97.1%的top-5精度,比之前最好的卷积网络(GPipe, Top-1: 84.3%, Top-5: 97.0%)大小缩小8.4倍、速度提升6.1倍。

EfficientNet的主要创新点并不是结构,不像ResNet、SENet发明了shortcut或attention机制,EfficientNet的base结构是利用结构搜索搜出来的,然后使用compound scaling规则放缩,得到一系列表现优异的网络:B0~B7. 下面两幅图分别是ImageNet的Top-1 Accuracy随参数量和flops变化关系图,可以看到EfficientNet饱和值高,并且到达速度快。

原理

增加网络参数可以获得更好的精度(有足够的数据,不过拟合的条件下),例如ResNet可以加深从ResNet-18到ResNet-200,GPipe将baseline模型放大四倍在ImageNet数据集上获得了84.3%的top-1精度。增加网络参数的方式有三种:深度宽度分辨率

深度是指网络的层数,宽度指网络中卷积的channel数(例如wide resnet中通过增加channel数获得精度收益),分辨率是指通过网络输入大小(例如从112x112到224x224)

直观上来讲,这三种缩放方式并不不独立。对于分辨率高的图像,应该用更深的网络,因为需要更大的感受野,同时也应该增加网络宽度来获得更细粒度的特征。

之前增加网络参数都是单独放大这三种方式中的一种,并没有同时调整,也没有调整方式的研究。EfficientNet使用了compound scaling方法,统一缩放网络深度、宽度和分辨率。

如下图所示,(a)为baseline网络,(b)、(c)、(d)为单独通过增加width,depth以及resolution使得网络变大的方式,(e)为compound scaling的方式。

EfficientNet中的base网络是和MNAS采用类似的方法(唯一区别在于目标从硬件延时改为了FLOPS),使用了compound scaling后,效果非常显著,在不同参数量和计算量都取得了多倍的提升。

此外,作者为了验证单独compound scaling的收益,base网络不使用MNAS网络结构搜索的结果,直接使用MobileNets和ResNet作为base进行scaling,结果显示在FLOPS接近的情况下,Top-1 Acc有0.6~1.4%的提升。

最后,EfficientNet的延时相对于ResNet/GPipe也有5~6倍的提升。

总结

总得来说,EfficientNet最大的贡献即为compound scaling,指导我们在设计网络时,特别是比较大的网络时,深度、宽度和分辨率要同步增加。

参考

论文链接:https://arxiv.org/abs/1905.11946

官方TensorFlow代码:https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet

第三方PyTorch代码:https://github.com/lukemelas/EfficientNet-PyTorch

本文分享自微信公众号 - AI人工智能与大数据(ai_data_tech),作者:guanxs

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 解读谷歌的AI杀手级专利:Dropout

    谷歌的Dropout专利于2019年6月25日正式生效了,到2034-09-03过期。

    用户7164815
  • SENet详解

    SENet是ImageNet 2017(ImageNet收官赛)的冠军模型,和ResNet的出现类似,都在很大程度上减小了之前模型的错误率(具体见附录),并且复...

    用户7164815
  • EfficientNet-lite详解:当前最强移动端轻量神经网络

    3.17日谷歌在 GitHub 与 TFHub 上同步发布了 EfficientNet-lite,EfficientNet的端侧版本,运行在 TensorFlo...

    用户7164815
  • ResNet到底深不深?

    今年5月份的时候,Cornell University的几个人研究了ResNet,发现它所谓的“超深网络”只是个噱头,文章如下: Residual Networ...

    用户1332428
  • OpenLayers3加载离线百度地图(百度迁徙底图)

    关于openlayers加载离线百度地图的东东好几年前就做过了,不过当时做的是2.0版本的。 自从好久没有去做可视化分析之后,也很少接触这些前端的JS的东西了。...

    sparkexpert
  • 云计算、IoT和SDN为企业网带来最大的问题

    根据Kentik发布的一份新报告,云计算的采用仍然是造成网络复杂性的最令人烦恼的因素。该调查报告是基于参加Cisco Live 2017大会的203名IT专业人...

    SDNLAB
  • 小白学PyTorch | 13 EfficientNet详解及PyTorch实现

    efficientNet的论文原文链接: https://arxiv.org/pdf/1905.11946.pdf

    机器学习炼丹术
  • 默认网络:最新的解剖、生理研究及其研究发展过程中的新观点

    默认网络是近年来静息态研究中最典型的研究发现,但该网络最初的发现却是来源于任务态研究。可以说,默认网络在连接静息态研究和任务态研究成果方面起到了至关重要...

    用户1279583
  • 美海军利用人工智能与计算机自动化技术打击网络威胁

    DefenseSystem网站报道称,美国海军数字化战争办公室正在加速利用人工智能(AI)来打击网络威胁。 海军网络安全部门负责人丹尼尔·巴雷特(Danell ...

    人工智能快报
  • 解除5G网络发展枷锁:原生云NFV不可或缺

    5G技术的实现将为业界带来从未有过的超可靠、低延迟的通信体验,但是,今天的移动网络并没有按照5G的需求进行设置。移动网络限制建在2传统电话网的模式中,通过无线覆...

    SDNLAB

扫码关注云+社区

领取腾讯云代金券