深度学习论文随记(四)ResNet 残差网络-2015年Deep Residual Learning for Image Recognition

深度学习论文随记(四)ResNet 残差网络

DeepResidual Learning for Image Recognition

Author:Kaiming He,  XiangyuZhang,  Shaoqing Ren,  Jian Sun,

 Microsoft Research

Year:2015

1、导引

之前文章谈到GoogLeNet和VGG,人们开始认为增加网络的层数,即让网络变深似乎能进一步提高分类任务的准确性。于是,微软研究院的何凯明团队提出了这样一个问题:

Is learning better networks as easy as stacking more layers?

然后他们通过增加层数就发现一个奇怪的现象:

When deeper networks areable to start converging, adegradationproblem has been exposed:

网络加深了, accuracy却下降了。如上图20-layer和50-layer的对比图所示,第20层网络相比,第56层网络存在更高的训练误差与测试误差。这个问题称为degradation。并且,他们发现这个问题is not caused by overfitting. 所以degradation问题说明不是所有网络都那么容易优化。

正因如此,他们提出了残差网络的idea. 构建了Deep Residual Net

然后在2015年的各类比赛中,他们取得了如下成果。

然后大家可以感受一下深度学习网络的“深度革命”

在ILSVRC2010年左右还主要是浅层网络,大部分需要手动调教特征。在ILSVRC2012年时,出现了8层的网络——AlexNet,降低了10%的错误率。而后ILSVRC2014出现的VGG和GoogleNet是相当成功的,它们分别将层级提到了19层、22层,错误率也降低到了7.3、6.7。到ILSVRC2015, ResNet将层级提到了152层,将错误率降到了3.57。

2、模型分析

通过在输出个输入之间引入一个shortcut connection,而不是简单的堆叠网络,这样可以解决网络由于很深出现梯度消失的问题,从而可可以把网络做的很深。

实际中,考虑计算的成本,对残差块做了计算优化,即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1, 如下图。新结构中的中间3x3的卷积层首先在一个降维1x1卷积层下减少了计算,然后在另一个1x1的卷积层下做了还原,既保持了精度又减少了计算量。

3、特点分析

在ImageNet上进行了综合性实验展示精准度下降问题,并对他们的方法做出评估。发现:

(1)特别深的残差网络很容易优化,但当深度增加时对应的“平面”网(即简单的堆栈层)表现出更高的训练误差。

(2)深度残差网络能够在大大增加深度的同时获得高精准度,产生的结果本质上优于以前的网络。

公式F(x)+x可以通过“快捷连接”前馈神经网络实现。

快捷连接是那些跳过中的一层或更多层。在我们的情景中,快捷连接简单的执行身份映射,并将它们的输出添加到叠加层的输出。身份快捷连接添加既不产生额外的参数,也会增加不计算的复杂度。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

专栏 | MSRA研究员提出物体关系模块,实现首个完全端到端的物体检测系统

MSRA 视觉组 作者:胡瀚、顾家远、张拯、代季峰、危夷晨 现有的物体检测算法均采用单独识别物体的方式,而没有利用物体之间的相互关系。近日,来自微软亚洲研究院视...

34310
来自专栏机器之心

ICLR 2019 | 用浅度学习训练深度网络:避开端到端深度学习难题

论文地址:https://openreview.net/pdf?id=r1Gsk3R9Fm

657
来自专栏ATYUN订阅号

NLP总结文:时下最好的通用词和句子嵌入方法

它们在固定长度的稠密向量中编码单词和句子,以大幅度提高神经网络处理文本数据的能力。

782
来自专栏机器之心

学界 | 牛津大学ICCV 2017 Workshop论文:利用GAN的单视角图片3D建模技术

选自arXiv 机器之心编译 参与:李泽南 对于现实世界物体的 3D 建模是很多工作中都会出现的任务。目前流行的方法通常需要对于目标物体进行多角度测量,这种方法...

2848
来自专栏数据派THU

送你6份最新开源代码!含NLP、ML、计算机视觉方向(附代码和论文)

来源:PaperWeekly 本文长度为636字,建议阅读3分钟 本文为你分享6份最新的开源代码,包括自然语言处理、计算机视觉和机器学习3个方面。 自然语言处理...

1925
来自专栏计算机视觉战队

分割算法——可以分割一切目标(各种分割总结)

周末应该是一个好好休息的时间,但是一定会有在默默努力科研的你,由于最近是开学季,很多关注的朋友一直会问“计算机视觉战队平台有基础性的内容吗?”,今天我和大家说一...

214
来自专栏AI研习社

AlphaZero 实战:从零学下五子棋(附代码)

2 个多月前,AlphaGo Zero 横空出世,完全从零开始,仅通过自我对弈就能天下无敌,瞬间刷爆朋友圈,各路大神分分出来解读,惊叹于其思想的简单、效果的神奇...

4176
来自专栏机器学习算法与Python学习

特征学习

Contents 1 关键词 2 为什么需要进行特征学习 3 无监督学习解决的问题 4 功能强大的特征学习 1. 关键词 自我学习/自学习 self-t...

25310
来自专栏深度学习自然语言处理

Hybrid semi-Markov CRF for Neural Sequence Labeling

对于命名实体识别任务,现有的模型基本已经能够达到很好的结果。近期,在ICLR 2018上提出了使用active learning,可以在少量数据集下得到较优结果...

1002
来自专栏奇点大数据

深度学习入门

机器学习技术正越来越多的出现在消费级产品上,比如照相机和智能手机。 机器学习系统可用于识别图像中的对象,将语音转换成文本,选择搜索结果的相关项,以及匹配新闻、帖...

693

扫码关注云+社区