深度学习论文随记(四)ResNet 残差网络-2015年Deep Residual Learning for Image Recognition

深度学习论文随记(四)ResNet 残差网络

DeepResidual Learning for Image Recognition

Author:Kaiming He,  XiangyuZhang,  Shaoqing Ren,  Jian Sun,

 Microsoft Research

Year:2015

1、导引

之前文章谈到GoogLeNet和VGG,人们开始认为增加网络的层数,即让网络变深似乎能进一步提高分类任务的准确性。于是,微软研究院的何凯明团队提出了这样一个问题:

Is learning better networks as easy as stacking more layers?

然后他们通过增加层数就发现一个奇怪的现象:

When deeper networks areable to start converging, adegradationproblem has been exposed:

网络加深了, accuracy却下降了。如上图20-layer和50-layer的对比图所示,第20层网络相比,第56层网络存在更高的训练误差与测试误差。这个问题称为degradation。并且,他们发现这个问题is not caused by overfitting. 所以degradation问题说明不是所有网络都那么容易优化。

正因如此,他们提出了残差网络的idea. 构建了Deep Residual Net

然后在2015年的各类比赛中,他们取得了如下成果。

然后大家可以感受一下深度学习网络的“深度革命”

在ILSVRC2010年左右还主要是浅层网络,大部分需要手动调教特征。在ILSVRC2012年时,出现了8层的网络——AlexNet,降低了10%的错误率。而后ILSVRC2014出现的VGG和GoogleNet是相当成功的,它们分别将层级提到了19层、22层,错误率也降低到了7.3、6.7。到ILSVRC2015, ResNet将层级提到了152层,将错误率降到了3.57。

2、模型分析

通过在输出个输入之间引入一个shortcut connection,而不是简单的堆叠网络,这样可以解决网络由于很深出现梯度消失的问题,从而可可以把网络做的很深。

实际中,考虑计算的成本,对残差块做了计算优化,即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1, 如下图。新结构中的中间3x3的卷积层首先在一个降维1x1卷积层下减少了计算,然后在另一个1x1的卷积层下做了还原,既保持了精度又减少了计算量。

3、特点分析

在ImageNet上进行了综合性实验展示精准度下降问题,并对他们的方法做出评估。发现:

(1)特别深的残差网络很容易优化,但当深度增加时对应的“平面”网(即简单的堆栈层)表现出更高的训练误差。

(2)深度残差网络能够在大大增加深度的同时获得高精准度,产生的结果本质上优于以前的网络。

公式F(x)+x可以通过“快捷连接”前馈神经网络实现。

快捷连接是那些跳过中的一层或更多层。在我们的情景中,快捷连接简单的执行身份映射,并将它们的输出添加到叠加层的输出。身份快捷连接添加既不产生额外的参数,也会增加不计算的复杂度。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

写给大家看的机器学习书【Part5】机器学习为什么是可行的(中)

1405
来自专栏AI研习社

迁移成分分析 (TCA) 方法简介

之前整理总结迁移学习资料的时候有网友评论,大意就是现在的类似资料大全的东西已经太多了,想更深入地了解特定的细节。从这篇文章开始我将以《小王爱迁移》为名写一系列的...

4114
来自专栏Petrichor的专栏

思考: 改进 现有的 网络参数初始化 方法

网络参数初始化方法 最粗暴的 莫过于 全零初始化 。顾名思义,所有参数全部初始化为0。想法很好,简便省事儿,还可使得初始化全零时参数的期望与网络稳定时参数的期望...

742
来自专栏新智元

DeepMind重磅:神经算术逻辑单元,Keras实现

【新智元导读】DeepMind最新提出“神经算术逻辑单元”,旨在解决神经网络数值模拟能力不足的问题。与传统架构相比,NALU在训练期间的数值范围内和范围外都得到...

522
来自专栏CSDN技术头条

递归神经网络不可思议的有效性

递归神经网络(RNNs)有一些不可思议的地方。我仍然记得我训练的第一个用于图片字幕的递归网络。从花几十分钟训练我的第一个婴儿模型(相当随意挑选的超参数)开始,到...

1949
来自专栏机器之心

LSTM入门必读:从基础知识到工作方式详解

选自echen 机器之心编译 参与:机器之心编辑部 长短期记忆(LSTM)是一种非常重要的神经网络技术,其在语音识别和自然语言处理等许多领域都得到了广泛的应用。...

3298
来自专栏AI科技评论

学界 | 李飞飞学生最新论文:利用场景图生成图像

利用结构化场景图生成图像,能够明确解析对象与对象之间关系,并可生成具有多个可识别对象的复杂图像。 AI 科技评论按:近日,李飞飞的学生 Justin Johns...

3704
来自专栏IT派

LSTM入门详解

导语:长短期记忆(LSTM)是一种非常重要的神经网络技术,其在语音识别和自然语言处理等许多领域都得到了广泛的应用。在这篇文章中,Edwin Chen 对 LST...

3285
来自专栏企鹅号快讯

AOGNet:基于深度 AND-OR 语法网络的目标识别方法

这是 PaperDaily 的第28篇文章 本期推荐的论文笔记来自 PaperWeekly 社区用户@duinodu。本文研究的问题是深度学习中的网络工程问题。...

2267
来自专栏深度学习入门与实践

机器学习基础与实践(一)----数据清洗

本博客所有内容以学习、研究和分享为主,如需转载,请联系本人,标明作者和出处,并且是非商业用途,谢谢!   想写这个系列很久了,最近刚好项目结束了闲下来有点时间,...

3096

扫码关注云+社区