论文阅读: ResNet

Introduction

ResNet论文是里程碑级的basemodel，因此获得了 CVPR 2016 Best Paper，并统领江湖至今：

这里写图片描述

文章受Highway Networks启发，通过在不相邻的feature map间添加“跨越式”的identity mapping通道，设计出了如下的residual module：

这里写图片描述

该设计的作用就是让网络的学习目标变成了“残差”：

这里写图片描述

学习“残差”明显比学习原来的对象要容易：

这里写图片描述

作者还给出了该module的两种常用型号。左边是适用小网络的residual module，右边是适用大网络的residual module（其中conv1×1用于降维）：

这里写图片描述

并给出了ResNet系列的各型号说明书：

这里写图片描述

经过试验，ResNet可以有效避免之前plain network在加深网络层后，因为梯度消失问题所导致的训练误差不降反升的问题：

这里写图片描述

ResNet于2015年横空出世，获得ImageNet 2015的冠军。此后一直独领风骚至今，成为各network的首选basemodel，影响极其深远。

Innovation

ResNet受了 Highway Networks 的启发。Highway Networks第一个设计了不同层feature map之间的identity mapping。ResNet极大地简化了Highway Networks的大量mapping设计，只在相邻module之间进行identity mapping。不仅极大地缓解了梯度问题，打破了网络深度的天花板，同时该设计也使得训练早期可以极快地收敛。

但其本质就是“隔桌传小抄”。所以尽管ResNet-101看起来有那么多层，其实本身结构比ResNet-18复杂不了不少。

Result

贵为ImageNet 2015冠军，ResNet吊打其他network：

这里写图片描述

Thinking

• 为什么加上identity mapping后的效果会变好，一种说法是这样的： 要学得的模型中，有一些部分是identity mapping。而原始的“串行式”网络很难学得这种identity mapping。那么ResNet就给模型学习增加了约束，帮模型轻松学得了identity mapping。
• ResNet很简单，但非常强大。ResNet与其加强版的ResNeXt、DPN互为补充。前者因为结构简单、效果好，成为了日常做研究时的首选basemodel。后两者结构复杂，在大数据集和更深的网络上效果略优于ResNet，因此成为论文刷AP值、比赛打榜的首选basemodel。
• Zhang xiangyu等大神先是研究了一整年的Inception，才灵感大发而设计出残差结构。说明ResNet不仅有Highway Networks的影子，也有Inception的影子。
• 一般先用ResNet-50进行试验，验证方法的有效性；如果该方法有效，再用ResNet-101/ResNeXt/DPN/Deformable R-FCN来刷点，以便汇报最好精度结果。

[1] Deep Residual Learning for Image Recognition