开源 | 通过提取神经元知识实现人脸模型压缩:MobileID可在移动设备上快速运行

选自GitHub

机器之心编译

参与:panda

深度神经网络模型对计算资源的需求问题一直是相关研究和应用的关注焦点之一。研究者们一直在努力试图将神经网络模型部署到移动设备上,有硬件方法也有软件方法,比如《前沿 | 借助神经网络芯片,将大型人工智能系统塞入移动设备》和《业界 | 谷歌开源高效的移动端视觉识别模型:MobileNet》。在去年的 AAAI 人工智能大会上,香港中文大学的研究者则提出了一种通过压缩模型来实现这一目标的方法 MobileID。近日,研究者开源了这项研究的代码。机器之心对该项目及原论文的摘要进行了介绍。

  • 论文地址:https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/view/11977
  • 项目地址:https://github.com/liuziwei7/mobile-id
  • DeepID2:http://www.ee.cuhk.edu.hk/~xgwang/papers/sunCWTnips14.pdf

概述

MobileID 是一种非常快速的人脸识别系统,其可以从 DeepID2 中提取知识。给定一张被检测和已对齐的人脸图像,该软件可以输出一个低维的人脸表征(face representation),该表征可以可靠地保留其身份信息。更多细节可参考我们的论文《Face Model Compression by Distilling Knowledge from Neurons》。

更多信息也可以联系 Ziwei Liu:http://personal.ie.cuhk.edu.hk/~lz013/

需求

  • Caffe:https://github.com/BVLC/caffe
  • t-SNE:https://lvdmaaten.github.io/tsne/

开始

  • 安装并编译 Caffe 和 t-SNE 库。
  • 下载预训练的模型 mobile_id.caffemodel:

Place "mobile_id.caffemodel" into "./models/"

  • 下载预存的对齐且裁剪后的 LFW 数据集 lfw.zip:https://drive.google.com/file/d/0B7EVK8r0v71pNGdPdExaemRxNlk/view?usp=sharing

Place "lfw.zip" into "./data/gallery/" and unzip

运行特征提取脚本:

sh ./extract_features_gallery.sh

运行可视化脚本:

matlab ./gen_tsne_gallery.m

表现

MobileID 系统是在 CelebA 数据集上训练的,在 LFW 数据集上测试的。当配备联合贝叶斯(Joint Bayesian:http://www.jiansun.org/papers/ECCV12_BayesianFace.pdf)时,它能在保证高速的同时还实现出色的表现,如下所示:

数据集

大规模名人面部属性数据集(CelebA):http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

注:CelebA 数据集和 LFW 数据集之间没有身份重叠。

论文:通过从神经元中提取知识实现的人脸模型压缩(Face Model Compression by Distilling Knowledge from Neurons)

近来的先进人脸识别系统都构建于大型深度神经网络(DNN)或它们的组合之上,其中会包含数以百万计的参数。但是,DNN 高昂的计算成本使得我们难以将其部署到移动设备和嵌入式设备中。这项工作解决了用于人脸识别的模型压缩问题,其中一个大型教师网络(large teacher network)或其组合所学习到的知识会被用作训练一个紧凑的学生网络(compact student network)的监督。和之前通过软化标签概率(soften label probabilities)(这种方法难以拟合)来表征知识的方法不同,我们通过使用更高隐藏层的神经元来表征知识,其可以保留和标签概率一样多的信息,但是能做到更加紧凑。通过利用学习到的人脸表征的基本特征(阈知识),我们提出了一种神经元选择方法来选择与人脸识别最相关的神经元。使用被选择的神经元作为监督来模拟 DeepID2+ 和 DeepID3(这是当前最佳的人脸识别系统)的单个网络,一个带有简单网络结构的紧凑学生网络可以在 LFW 上分别实现比其教师更好的验证准确度。当使用 DeepID2+ 的组合作为教师时,一个模仿学生可以实现比其更好的表现并实现 51.6 倍的压缩率和 90 倍的推理速度提升,使得可将这种笨重的模型应用于便携式设备。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【大咖解读】谢国彤:疾病预测的机器学习、深度学习和经典回归方法

37130
来自专栏AI科技评论

动态 | 还在用PS磨皮去皱?看看如何用神经网络高度还原你的年轻容貌!

用机器学习合成人像照片,使照片中的人看起来更年轻或年老的方法已经屡见不鲜。不过据雷锋网消息,近日,来自法国Orange实验室的Enter Grigory Ant...

33160
来自专栏华章科技

人人都能看懂的机器学习!3个案例详解聚类、回归、分类算法

机器学习,一言以蔽之就是人类定义一定的计算机算法,让计算机根据输入的样本和一些人类的干预来总结和归纳其特征和特点,并用这些特征和特点和一定的学习目标形成映射关系...

12940
来自专栏AI科技大本营的专栏

听说现在赶火车刷脸就进站了!Out,跟脸有关的最新玩法是你说什么,表情包就演什么

十一结束,假期开工返乡潮仍在继续。就在昨日,一则视频刷爆朋友圈。 视频里,北京、广州、上海、成都、武汉的火车站都相继开通自助“刷脸”进站通道。 乘客惊呼“连...

25640
来自专栏磐创AI技术团队的专栏

计算智能(CI)之粒子群优化算法(PSO)(一)

计算智能(ComputationalIntelligence ,CI)是以生物进化的观点认识和模拟智能。按照这一观点,智能是在生物的遗传、变异、生长以及外部环境...

67460
来自专栏小樱的经验随笔

层次分析法(详解)

注:文章内容主要参阅 《matlab数学建模算法实例与分析》,部分图片来源于WIKI 文章分为2部分: 1第一部分以通俗的方式简述一下层次分析法的基本步骤和思想...

53850
来自专栏人工智能LeadAI

基于自然语言识别下的流失用户预警

在电商运营过程中,会有大量的用户反馈留言,包括吐槽的差评,商品不满的地方等等,在用户运营生态中,这部分用户是最有可能流失也是最影响nps的人群,通过对其评价的语...

406130
来自专栏新智元

【卷积神经网络失陷】几行Python代码搞定,偏要用100个GPU!

【新智元导读】Uber近日一篇论文引起许多讨论:该论文称发现卷积神经网络一个引人注目的“失败”,并提出解决方案CoordConv。论文称CoordConv解决了...

16900
来自专栏人工智能头条

Google研究员Ilya Sutskever:成功训练LDNN的13点建议

14060
来自专栏大数据文摘

职场 | 备好数据后,数据科学家还要做什么?

15570

扫码关注云+社区

领取腾讯云代金券