专栏首页量子位大小仅17KB!这个微型风格迁移模型太好玩了 | 代码+教程

大小仅17KB!这个微型风格迁移模型太好玩了 | 代码+教程

铜灵 编译整理 量子位 出品 | 公众号 QbitAI

一个风格迁移模型可以有多小?

17KB足矣。

事实证明,你可以用1.7M的参数训练出风格迁移模型,然后只留下11868个参数,生成迁移图像。将模型量化后,原本7M的模型压缩到只有17KB,而迁移效果和原本模型差别不大:

迁移效果对比 | 从左到右分别为原图,小模型效果,大模型效果

17KB是什么概念?一个模糊得不行的小头像,word中的10个文字,迅雷0.01秒内下载的文件……

整波操作效果明显——

原始模型

  • 大小:7M
  • 权重数量:1.7M
  • iPhoneX上的运行速度:18 FPS

缩减后的模型

  • 大小:17KB
  • 权重数量:11868
  • iPhoneX上的运行速度:29 FPS

这到底怎么做到的?

只需两步

这项研究的作者、AI部署解决方案Fritz的联合创始人Jameson Toole在博客中表示,缩小模型真的“pretty easy”,只要你:

一是要毫不留情地修剪层数和权重,二是要通过量化的方式,将32位的浮点权重转换成8位整数。下面分别细讲。

修剪策略

神经网络的训练期间需要调整数百万甚至数亿个权重,一般来讲更多的权重意味着更高的准确性,但非常低效。

假设一个神经网络可以大多数权重都没那么有用,可以删除,应该在什么层面去删?Toole认为主要有三种选择:修剪单个权重、层和模块等。

权重方面:指一些网络中绝大多数(可能会>95%)训练过的权重对结果没有帮助,确定哪些权重能提升网络准确性,将无用权重删去。

层级方面:每个层中都有权重,2D的卷积层具有的权重张量被称为一个卷积核(kernel),包含宽度、高度和深度信息,缩小卷积核也是缩小模型的一种方法。

模块方面:层通常会被组合在一起,形成可重复使用的子图,也就是一个模块。在这个层面的修剪会一次删除多个层,从而减小模型体积。

具体操作

作者引入了宽度乘数(width multiplier)当作超参数,这种方法是谷歌首次在论文MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications中提出的。

论文地址: https://arxiv.org/abs/1704.04861

宽度乘数能调整每个卷积层中滤波器的数量。如果层和宽度乘数alpha已经给定,那将滤波器的数量F改成F×alpha即可。

通过这个超参数,我们能够利用李飞飞团队曾经发表的方法,生成架构相同但权重数量不同的连续网络,就像下面这样:

李飞飞论文Perceptual Losses for Real-Time Style Transfer and Super-Resolution: https://arxiv.org/abs/1603.08155

当alpha=1.0时,生成网络的权重为1.7M,当alpha=0.5时,得到权重数量为424102个的一个网络。

此时可以使用低宽度乘数制作构建一些小网络,但里面也有很多重复模块。

作者发现,没有办法大刀阔斧地修剪这些重复模块,参数数量固定时,更深的网络产生的结果更好。作者最终将五个残差块中删去了两个,并将每层的默认滤波器减少到32个。

看起来是这样的:

用上述架构,作者在反复试验后将宽度乘数调整到了0.3,每层中有9个滤波器,最终生成一个只有11868个权重的神经网络。

量化

神经网络训练完成后进入最后的压缩环节。

通常大家会将网络权重存储成64位或32位的浮点数,所谓量化,就是将每一个浮点权重映射成位宽较低的整数。

从32位到8位的映射能将存储空间减少4倍,并且目前每个主流移动端框架都支持量化,包括TensorFlow Mobile、TensorFlow Lite、Core ML和Caffe2Go。

结果展示

最终,用11868个参数构建的这个微型网络架构原始大小为1.7M,当用 Apple的移动端框架CoreML量化后,最终大小为17KB,仅为原始大小的0.25%。

这个超小型的迁移模型,可以将所见场景转化成梵高名画《星空》的风格。

作者还发现,尽管模型大小缩小了400倍,但在iPhoneX上的运行速度只提高了50%,原因尚不明确。

用简单两步操作将风格迁移模型大小减少99.75%的方法,这次你学会了吗?

传送门

可进一步阅读博客原文: https://heartbeat.fritz.ai/creating-a-17kb-style-transfer-model-with-layer-pruning-and-quantization-864d7cc53693

GitHub上可下载模型的代码+Demo: https://github.com/fritzlabs/fritz-style-transfer

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 比男友更了解你的穿搭喜好,这个模型可以陪你挑衣服 | 论文

    安妮 编译自 arXiv 量子位 出品 | 公众号 QbitAI 购物网站总想通过推荐系统让你多买几件衣服。 但穿搭可是个不太好把控的东西,复杂的服装风格不仅让...

    量子位
  • 大神程序员,夜夜coding到天明?Python之父昼伏夜出,PHP创始人24小时都在线

    有位名叫Ivan Bessarabov (简称“伊万”) 的好事者,刚刚统计了各路大佬的代码提交 (git commit) 时间分布。

    量子位
  • 史上最强NLP知识集合:知识结构、发展历程、导师名单

    自然语言处理(NaturalLanguage Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向,旨在研究能实现人与计算机之间用自然语...

    量子位
  • TensorFlow下构建高性能神经网络模型的最佳实践

    用户1737318
  • 游戏智能系列之一:一些准备工作

    一直想开游戏人工智能的专题。只是最近刚刚用 Spark, 踩了一些坑,没有时间看东西,就延误了。虽然现在还没有看什么东西,但拖不了了,下定决心这个...

    AlgorithmDog
  • 脑机接口创造“第六感”:激活特定神经元,大鼠训练出新感官,逃出水迷宫,像用视觉一样轻松

    宾夕法尼亚大学的科学家们,借由脑机接口,给了大鼠一种神经刺激,帮它们找到对的方向。

    量子位
  • 【深度学习模型哪个最像人脑?】MIT等人工神经网络评分系统,DenseNet实力夺冠!

    虽然ANN发展到现在也无法完全模拟生物大脑,但是技术是一直在进步的。那么问题来了:

    新智元
  • React学习(11)—— 高阶应用:Web组件

    从概念上说,React 和 Web组件 分别用于解决不同的问题。Web组件提供了强大的封装特性来支持其可重复使用性,而React提供了一系列声明性(declar...

    随风溜达的向日葵
  • React Web组件

    从概念上说,React 和 Web组件 分别用于解决不同的问题。Web组件提供了强大的封装特性来支持其可重复使用性,而React提供了一系列声明性(declar...

    随风溜达的向日葵
  • 腾讯WeTest参展2018ChinaJoy,8月3日等你来了解。

    ? WeTest 导读 腾讯游戏GCloud将携带WeTest、游戏安全、前沿技术、G6、蓝鲸、潘多拉、iData、腾讯计费、成长守护平台这9大技术服务产...

    WeTest质量开放平台团队

扫码关注云+社区

领取腾讯云代金券