业界| 英特尔中国研究院深度学习领域最新成果——“动态外科手术”算法

编者注:本文为英特尔中国研究院最新研究成果,主要介绍了一个名为“动态外科手术”算法,有效地解决了处理大型网络时重训练时间长,误剪枝率高的问题。利用该算法,我们可以轻易地将LeNet和AlexNet这两个经典网络的参数总量分别压缩108倍和17.7倍。

英特尔中国研究院于近期提出了一种名为“动态外科手术”的神经网络压缩算法,获得了业内的广泛关注以及国内外专家的高度评价。利用该方法,研究人员可以在保证原始模型性能不降的前提下大幅度压缩网络结构。让我们带您一起深入浅出地理解这一算法。

如果您有定期关注IT、互联网新闻的习惯,想必不会对深度学习(deep learning)一词感到陌生。深度学习的概念源于早期的针对人工神经网络的研究,其理念的核心在于通过深层神经网络(deep neural networks)完成对样本数据抽象表示的“学习”。自2006年深度学习的概念被首度提出,如今已经极大程度地改变了人工智能乃至整个互联网、IT领域的生态。经过十年的发展,该技术在包括人脸识别、语音识别、物体检测和自然语言处理在内的多个领域都表现出了顶尖的性能。

主流的深度网络之一:深度卷积神经网络

(图片来源:A tutorial on deep learning [3])

然而,深度学习距离“天下无敌”也还有一定的距离。制约其发展的主要瓶颈之一是深度网络极高的模型复杂度和消费级电子产品极有限的硬件资源之间的矛盾。事实上,时下许多主流的深度网络都包含千万级甚至是过亿的学习参数,而如此海量的参数给模型的存储和计算都带来了相当大的压力。因而,如何对训练好的深度网络进行压缩就成了困扰研究人员的一大难题。2015年的论文Learning both weights and connections for efficient neural networks提出了一种网络剪枝(network pruning)算法,可以在保持数据表示能力的前提下,将深度网络中的学习参数压缩10倍以上,在学界引起了广泛讨论。该论文也被发表在机器学习领域的顶级国际会议神经信息处理系统大会(Conference on Neural Information Processing Systems,以下简称“NIPS”),获得了巨大的影响力。

神经网络剪枝策略

(图片来源:Learning both weights and connections for efficient neural networks )

今年,英特尔中国研究院认知计算实验室郭怡文、姚安邦和陈玉荣三位研究员在深度学习领域取得突破性进展。他们所提出的动态外科手术(dynamic network surgery)算法,极其有效地解决了处理大型网络时重训练时间长,误剪枝率高的问题。利用该算法,我们可以轻易地将LeNet和AlexNet这两个经典网络的参数总量分别压缩108倍和17.7倍。

英特尔中国研究院认知计算实验室郭怡文、陈玉荣和姚安邦

该算法采取了剪枝与嫁接相结合、训练与压缩相同步的策略完成网络压缩任务。通过网络嫁接操作的引入,避免了错误剪枝所造成的性能损失,从而在实际操作中更好地逼近网络压缩的理论极限。

动外科手术策略

(虚线代表当前被切断的网络连接,而绿线代表通过嫁接重新建立的网络连接)

目前,该方法已被撰写成文,并将发表在本年度的NIPS会议上。作为机器学习领域的顶级会议,NIPS近年来一直保持着极低的论文接收率。而获准发表的论文也都会得到业内人士的极大关注,从而对机器学习的发展产生相当的推动作用。据悉,NIPS本年度收到的稿件总量约为2500篇,而接收率还不到23%。相信英特尔中国研究院的这项工作将会对学界和工业界产生巨大的影响。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-09-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

业界 | 谷歌推出神经网络可视化库Lucid,推进模型的可解释性工作(附GitHub)

2916
来自专栏PPV课数据科学社区

【学习】关于推荐系统中的特征工程

在多数数据和机器学习的blog里,特征工程 Feature Engineering 都很少被提到。做模型的或者搞Kaggle比赛的人认为这些搞featu...

5378
来自专栏CDA数据分析师

应用 AI 之前,你必须了解的 10 项准备工作

? 这篇文章对你的人工智能和机器学习项目进行分解,讨论其各个部分所带来的影响,从而帮助你确定公司是否真正准备利用机器学习、深度学习或人工智能。 不是每一个问题...

2039
来自专栏智能算法

关于深度学习的框架、特征和挑战

在嵌入式系统上的深度学习 随着人工智能 (AI) 几乎延伸至我们生活的方方面面,主要挑战之一是将这种智能应用到小型、低功耗设备上。这需要嵌入式平台,能够处理高性...

3397
来自专栏人工智能头条

AI读心术:想象一下,计算机就可以重现意念中的画面

1443
来自专栏AI研习社

为什么你需要改进训练数据,如何改进?

Andrej Karpathy 在他的 Train AI 演讲中展示了这张胶片,我非常喜欢。这张胶片完美地揭示了深度学习在研究与生产间的区别。通常来说,学术论文...

971
来自专栏专知

【KDD2018】UIUC韩家炜团队218页文本语料数据挖掘教程

【导读】由于互联网领域的蓬勃发展,人们获取信息的便捷性越来越高,但也面临着信息过载的问题,因此,对自然语言处理的技术需求逐渐增多。本周,我们为大家整理了韩家炜团...

3113
来自专栏量子位

强化学习如何入门?看这篇文章就够了

对于大脑的工作原理,我们知之甚少,但是我们知道大脑能通过反复尝试来学习知识。我们做出合适选择时会得到奖励,做出不切当选择时会受到惩罚,这也是我们来适应环境的方式...

1543
来自专栏大数据挖掘DT机器学习

你还在用“人工特征工程+线性模型”?

作者:李沐M 11年的时候我加入百度,在凤巢使用机器学习来做广告点击预测。当时非常惊讶于过去两年内训练数据如此疯狂的增长。大家都在热情的谈特征,每次新特征的...

3838
来自专栏人工智能头条

深度学习在推荐领域的应用

1714

扫码关注云+社区

领取腾讯云代金券