专栏首页有三AI【知识星球】剪枝还是不剪枝,剪了到底有什么好?

【知识星球】剪枝还是不剪枝,剪了到底有什么好?

1 剪枝

我们都知道剪枝可以压缩计算量,那到底可以达到什么程度呢?下面看Google的一篇文章的研究。

有三AI知识星球-网络结构1000变

To prune, or not to prune

本文探讨了具有同样大小的稀疏大模型和稠密小模型的性能对比,在图像和语音任务上表明稀疏大模型普遍有更好的性能。

作者/编辑 言有三

模型剪枝是一项重要的模型压缩技术,它给网络参数带来了稀疏性,在开源框架中可以通过和权重矩阵大小相等的掩膜来实现。

那么,剪枝到底对性能会有什么影响呢?首先看Inception V3模型的实验中在稀疏性分别为0%,50%,75%,87.5%时的结果。此时模型中非零参数分别是原始模型的1,0.5,0.25,0.128倍,即实现了1,2,4,8倍的压缩。

可以看到,在稀疏性为50%,性能几乎不变。稀疏性为87.5%时,指标下降为2%。

上表展示了MobileNet的实验结果,分别比较更窄的MobileNet和更加稀疏的MobileNet的结果,可以发现稀疏的MobileNet性能明显优于稠密的MobileNet。

75%的Sparse Model比0.5倍宽的Dense Model在top-

1指标上超出了4%,而且模型更小。90%的Sparse Model比0.25倍宽的Dense Model在top-1指标上超出了10%,模型大小相当。

从这里可以看出剪枝真的是一个非常有前途的课题,值得研究。

[1] Zhu M, Gupta S. To prune, or not to prune: exploring the efficacy of pruning for model compression[J]. arXiv preprint arXiv:1710.01878, 2017.

关于更多紧凑模型设计,模型压缩和量化的内容可见。

本文分享自微信公众号 - 有三AI(yanyousan_ai),作者:言有三

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【星球知识卡片】模型剪枝有哪些关键技术,如何对其进行长期深入学习

    大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型剪枝的关键技术以及一些学习资料。

    用户1508658
  • 【AI不惑境】模型剪枝技术原理及其发展现状和展望

    进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考。如果说学习是一个从模仿,到追随,到创造的过程,那么到这个阶段,应该跃过了模仿和追随的阶段,进...

    用户1508658
  • 【杂谈】当前模型剪枝有哪些可用的开源工具?

    模型剪枝属于模型优化中的重要技术之一,经过了研究人员多年的研究,工业界也开始有一些实践,那么当前有哪些可用的模型剪枝工具呢?

    用户1508658
  • 《笨办法学Python》 第33课手记

    《笨办法学Python》 第33课手记 本节课讲while循环,作者强调while循环的缺点在于循环可能永远进行下去,所以作者推荐使用for循环,在确认循环会结...

    Steve Wang
  • 业界 | 会打电话的谷歌语音助手通不过图灵测试,正如AI代替不了老师

    大数据文摘
  • Flutter中表单组件综合运用实例

    越陌度阡
  • PWA系列——Fetch API

    今天聊聊 xhr 的替代品 Fetch,在全局作用域中有个 fetch 方法方便使用。虽然同样也是处理 HTTP 请求和响应的,但 fetch 有两个不同之处,...

    JS菌
  • 马化腾提议加强基础科学研究,中国“芯痛”能解决吗?

    导读:今年“两会”,全国人大代表、腾讯董事会主席兼首席执行官马化腾提交了7份书面建议,涉及产业互联网、基础科学研究、科技伦理、粤港澳大湾区、未成年人网络保护、就...

    华章科技
  • Python练习3

    无意看到老男孩的博文:合格linux运维人员必会的30道shell编程面试题及讲解

    py3study
  • WebStorm 显示行号+自动换行+鼠标滚轮缩放设置

    如果用Vim编程,行号是非常必要的辅助。WebStorm默认是不显示行号的,没关系,显示行号非常的容易。

    德顺

扫码关注云+社区

领取腾讯云代金券