ResNet论文是里程碑级的basemodel,因此获得了 CVPR 2016 Best Paper,并统领江湖至今:
文章受Highway Networks启发,通过在不相邻的feature map间添加“跨越式”的identity mapping通道,设计出了如下的residual module:
该设计的作用就是让网络的学习目标变成了“残差”:
学习“残差”明显比学习原来的对象要容易:
作者还给出了该module的两种常用型号。左边是适用小网络的residual module,右边是适用大网络的residual module(其中conv1×1用于降维):
并给出了ResNet系列的各型号说明书:
经过试验,ResNet可以有效避免之前plain network在加深网络层后,因为梯度消失问题所导致的训练误差不降反升的问题:
ResNet于2015年横空出世,获得ImageNet 2015的冠军。此后一直独领风骚至今,成为各network的首选basemodel,影响极其深远。
ResNet受了 Highway Networks 的启发。Highway Networks第一个设计了不同层feature map之间的identity mapping。ResNet极大地简化了Highway Networks的大量mapping设计,只在相邻module之间进行identity mapping。不仅极大地缓解了梯度问题,打破了网络深度的天花板,同时该设计也使得训练早期可以极快地收敛。
但其本质就是“隔桌传小抄”。所以尽管ResNet-101看起来有那么多层,其实本身结构比ResNet-18复杂不了不少。
贵为ImageNet 2015冠军,ResNet吊打其他network: