干货 | 康奈尔博士后黄高:如何设计高效地卷积神经网络

AI 科技评论按:卷积神经网络则是深度学习最具代表性的模型,在计算机视觉和自然语言翻译等领域有着极其广泛的应用。随着精度以及复杂度的逐步提升,卷积网络的推理效率问题越来越明显的成为制约其在实际应用中的瓶颈。

在近期 GAIR 大讲堂上,来自康奈尔大学的博士后黄高做了一场主题为「高效卷积神经网络的结构设计与探索」的技术分享,本文根据直播分享内容整理而成,更多细节推荐点击阅读原文观看视频回放。

黄高博士,现为美国康奈尔大学计算机系博士后,主要研究领域为深度神经网络的结构设计与优化算法,以及深度学习在计算机视觉与自然语言理解中的应用;获得北京航空航天大学学士学位,清华大学控制科学与工程博士学位。其博士论文被评为中国自动化学会优秀博士学位论文以及清华大学优秀博士论文一等奖。目前已发表学术论文20余篇,其中一篇被中国科学技术信息研究所评选为2015年全国百篇最具国际影响学术论文;一篇获得国际计算机视觉顶级会议CVPR的最佳论文奖。

分享提纲

1.探究卷积神经网络中的冗余性,并介绍如何通过改进网络结构减少冗余计算量; 2.通过引入动态预测方法,提升网络的推理效率; 3.介绍一种新的剪枝方法及卷积结构,训练面向移动端的轻量卷积网络;

分享开始

大家好我是黄高,现在在康奈尔大学做博士后,今天非常感谢雷锋网邀请做本场gair大讲堂,今天给大家介绍怎么设计高效的卷积神经网络。 Deep Learning 是现在非常火的一个话题,不管是在学术界还是工业界。现在 Deep Learning 有越来越多的应用,也有很多有意思的研究问题。对于深度学习而言最为核心的算法就是卷积神经网络,最近几年卷积神经网络的研究发展非常迅速。 这里我列举了几个比较有代表性的卷积神经网络。

AlexNet 2012 年第一次将卷积神经网络用到大规模图片分类上超越了以前传统的视觉方法。

然后到 15 年左右 VGG 和 Inception 提出以后,在 ImageNet 又有很大的提升,在分类问题上取得突破之后又会拓展到图像分割、定位等。

15 年 ResNet 的问世让我们第一次能够在大规模问题上用端对端训练上百层的网络。

10年-15年错误率的演化

深度学习现在其实有很多可以研究的问题,当我们把模型用到现实中就会有很多效率问题我在今天的报告里面主要强调的是效率。

今天介绍我们组近一两年做的三个工作,从不同方面来提升卷积神经网络的效率。

1.DENSENET(CVPR 2017 最佳论文)

这个工作提出一种比其他网络模型可以以更小的网络大小及计算量达到泛化的效果。

2.Multi-scale DenseNet

能否折中精度与效率?

现实世界中的的图片样本有难易的区别。能否用小而快的网络预测简单的样本,大而准的网络预测难的样本?这样既能加快简单样本的预测,又能不牺牲难的样本的预测精度。

自适应评价的单纯猜想

以上方法给较难识别的图片增加了额外的计算量,更好方法是我们假设一个很深的网络,在这个深的网络中接很多所谓的出口(在中间这些特征直接做分类)。评估的方法还是如上图所图所示,可以使特征产生很好的复用。

但它存在以下挑战

为了应对挑战我们设计了以下网络

演示过程如下所示

在 ImageNet 和 CIFAR-100 上的结果如下

3.CONDENSNET:移动端的网络设计

有很多在 GPU 上和手机端效率是不一样的,这个问题可能工业界更关心。针对这个应用我们想到了 DenseNet 去做,为了减少冗余,我们希望借助 Group Convolution 的。

值得一提的是,对于 ResNet 而言,Group Convolution 被证明是有效的,但是在 DenseNet 里结果网络变差了。

所以我们提出了所谓的 Learned Group Convolution,传统的 Group Convolution 的分组是指定好的,而这个是在学习过程中训练如何分组。

训练结果如下

DenseNet到 CondeseNet 的网络结构如下所示

做该网络还有以下两个变化

这是数据集的一个效果图,横轴是计算量,纵轴是测试误差。

以下是在 ImageNet 的结果

以上三个方法代码都已经开源,感兴趣的可以在 GitHub 上找。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-01-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT技术精选文摘

机器学习简介

在直接进入机器学习的范围之前,让我们从单词的含义开始。这可能看起来很明显,但最好一开始就从其含义入手。 机器是包含一个或多个能够转换能量的零件的工具。机器通常采...

1817
来自专栏奇点大数据

机器学习和深度学习的区别

近来有一些朋友问我,深度学习是不是算机器学习,如果是为什么一定要单拿出来算一个概念,那我在这就说说我的理解。 首先,深度学习确实仍然是依靠机器来做学习的不管是监...

3286
来自专栏量子位

深度学习中,还有这15个未解难题

王小新 编译自 Bharath Ramsunder博客 量子位 出品 | 公众号 QbitAI 认脸、翻译、合成语音……深度学习在很多问题上都取得了非常好的成绩...

2947
来自专栏PPV课数据科学社区

学习攻略 | 机器学习和深度学习技能树、面试宝典

人工智能的浪潮正在席卷全球,这些得益于数据量的上涨、运算力的提升和机器学习新算法(深度学习)的出现。机器学习是一种实现人工智能的方法,深度学习是一种实现机器学习...

4125
来自专栏人工智能

看完这些你就明白,机器学习和深度学习的根本区别了

深度学习是什么? 在深度学习中,计算机模型学习直接从图像、文本或声音中执行分类任务。深度学习模式可以达到新的精确度,有时甚至超过人类的表现。大多数深度学习方法使...

4978
来自专栏机器之心

学界 | 为数据集自动生成神经网络:普林斯顿大学提出NeST

3285
来自专栏ATYUN订阅号

【学术】当你开始深度学习时,请注意这些事情

深度学习为数据科学提供了非常有效的工具,几乎可以解决任何领域的问题,并使用任何类型的数据。然而,深度学习算法的非直观性推导和使用需要非常仔细的实验设计,如果不能...

38610
来自专栏ATYUN订阅号

【学术】欺骗图像识别技术,只需改变一个像素即可将狗变成汽车

日本九州大学的一个团队开发了一种欺骗图像识别技术的新方法。对许多研究人员来说,一般的方法是给图像添加一些功能,这些图像会错误地触发神经网络,并让它识别出它所看到...

4447
来自专栏机器之心

观点 | 为什么深度学习仍未取代传统的计算机视觉技术?

选自zbigatron 作者:Zbigatron 机器之心编译 参与:张楚、黄小天 本文作者认为,深度学习只是一种计算机视觉工具,而不是包治百病的良药,不要因为...

3484
来自专栏机器之心

观点 | 在工程领域中,机器学习的数学理论基础尤为重要

近期研究人员越来越多地关注将机器学习方法应用到科学、工程应用中。这主要是受自然语言处理(NLP)和图像分类(IC)[3] 领域近期发展的影响。但是,科学和工程问...

621

扫码关注云+社区

领取腾讯云代金券