ResNet详解与分析
目录
Resnet要解决的是什么问题
ResNets要解决的是深度神经网络的“退化”问题。
什么是“退化”？
我们知道，对浅层网络逐渐叠加layers，模型在训练集和测试集上的性能会变好，因为模型复杂度更高了，表达能力更强了，可以对潜在的映射关系拟合得更好。而“退化”指的是，给网络叠加更多的层后，性能却快速下降的情况。
训练集上的性能下降，可以排除过拟合，BN层的引入也基本解决了plain net的梯度消失和梯度爆炸问题。如果不是过拟合以及梯度消失导致的，那原因是什么？
按道理，给网络叠加更多层，浅层网络的解空间是包含在深层网络的解空间中的，深层网络的解空间至少存在不差于浅层网络的解，因为只需将增加的层变成恒等映射，其他层的权重原封不动copy浅层网络，就可以获得与浅层网络同样的性能。更好的解明明存在，为什么找不到？找到的反而是更差的解？
显然，这是个优化问题，反映出结构相似的模型，其优化难度是不一样的，且难度的增长并不是线性的，越深的模型越难以优化。
有两种解决思路，一种是调整求解方法，比如更好的初始化、更好的梯度下降算法等；另一种是调整模型结构，让模型更易于优化——改变模型结构实际上是改变了error surface的形态。
Instead of hoping each few stacked layers directly fit a desired underlying mapping, we explicitly let these layers fit a residual mapping. Formally, denoting the desired underlying mapping as \(H(x)\), we let the stacked nonlinear layers fit another mapping of \(F(x) := H(x) - x\). The original mapping is recast into \(F(x)+x\). We hypothesize that it is easier to optimize the residual mapping than to optimize the original, unreferenced mapping. To the extreme, if an identity mapping were optimal, it would be easier to push the residual to zero than to fit an identity mapping by a stack of nonlinear layers. —— from Deep Residual Learning for Image Recognition
下面的问题就变成了\(F(x)+x\) 该怎么设计了。
Residual Block的设计
\(F(x)+x\)构成的block称之为Residual Block，即残差块，如下图所示，多个相似的Residual Block串联构成ResNet。
shortcut路径大致也可以分成2种，取决于残差路径是否改变了feature map数量和尺寸，一种是将输入\(x\)原封不动地输出，另一种则需要经过1×1卷积来升维 or/and 降采样，主要作用是将输出与F(x)路径的输出保持shape一致，对网络性能的提升并不明显，两种结构如下图所示，
至于Residual Block之间的衔接，在原论文中，F(x)+x经过ReLU后直接作为下一个block的输入x。
对于F(x)路径、shortcut路径以及block之间的衔接，在论文Identity Mappings in Deep Residual Networks中有更进一步的研究，具体在文章后面讨论。
ResNet 网络结构
ResNet为多个Residual Block的串联，下面直观看一下ResNet-34与34-layer plain net和VGG的对比，以及堆叠不同数量Residual Block得到的不同ResNet。
ResNet的设计有如下特点：
- 与plain net相比，ResNet多了很多“旁路”，即shortcut路径，其首尾圈出的layers构成一个Residual Block；
- ResNet中，所有的Residual Block都没有pooling层，降采样是通过conv的stride实现的；
- 分别在conv3_1、conv4_1和conv5_1 Residual Block，降采样1倍，同时feature map数量增加1倍，如图中虚线划定的block；
- 通过Average Pooling得到最终的特征，而不是通过全连接层；
- 每个卷积层之后都紧接着BatchNorm layer，为了简化，图中并没有标出；
ResNet结构非常容易修改和扩展，通过调整block内的channel数量以及堆叠的block数量，就可以很容易地调整网络的宽度和深度，来得到不同表达能力的网络，而不用过多地担心网络的“退化”问题，只要训练数据足够，逐步加深网络，就可以获得更好的性能表现。
下面为网络的性能对比，
error surface对比
上面的实验说明，不断地增加ResNet的深度，甚至增加到1000层以上，也没有发生“退化”，可见Residual Block的有效性。ResNet的动机在于认为拟合残差比直接拟合潜在映射更容易优化，下面通过绘制error surface直观感受一下shortcut路径的作用，图片截自Loss Visualization。
可以发现：
- ResNet-20（no short）浅层plain net的error surface还没有很复杂，优化也会很困难，但是增加到56层后复杂程度极度上升。对于plain net，随着深度增加，error surface 迅速“恶化”；
- 引入shortcut后，error suface变得平滑很多，梯度的可预测性变得更好，显然更容易优化；
Residual Block的分析与改进
论文Identity Mappings in Deep Residual Networks进一步研究ResNet，通过ResNet反向传播的理论分析以及调整Residual Block的结构，得到了新的结构，如下
注意，这里的视角与之前不同，这里将shortcut路径视为主干路径，将残差路径视为旁路。
新提出的Residual Block结构，具有更强的泛化能力，能更好地避免“退化”，堆叠大于1000层后，性能仍在变好。具体的变化在于
下面具体解释一下。
shortcut路径将反向传播由连乘形式变为加法形式，让网络最终的损失在反向传播时可以无损直达每一个block，也意味着每个block的权重更新都部分地直接作用在最终的损失上。看上面前向传播的公式，可以看到某种ensemble形式，信息虽然可以在任意两层之间直达，但这种直达其实是隐含的，对某个block而言，它只能看到加法的结果，而不知道加法中每个加数是多数，从信息通路上讲尚不彻底——由此也诞生了DenseNet。
对于残差路径的改进，作者进行了不同的对比实验，最终得到了将BN和ReLU统一放在weight前的full pre-activation结构。
小结
ResNet的动机在于解决“退化”问题，残差块的设计让学习恒等映射变得容易，即使堆叠了过量的block，ResNet可以让冗余的block学习成恒等映射，性能也不会下降。所以，网络的“实际深度”是在训练过程中决定的，即ResNet具有某种深度自适应的能力。
深度自适应能解释不会“退化”，但为什么可以更好？
通过可视化error surface，我们看到了shortcut的平滑作用，但这只是结果，背后的根由是什么？
也许彻底搞懂ResNet还需要进一步地研究，但已有很多不同的理解角度，
- 微分方程的角度，A Proposal on Machine Learning via Dynamical Systems
- ensemble的角度，Residual Networks Behave Like Ensembles of Relatively Shallow Networks
- 信息/梯度通路的角度，Identity Mappings in Deep Residual Networks
- 类比泰勒展开、类比小波……
通过不同侧面尝试解释，能获得对ResNet更深刻更全面的认识，限于篇幅，本文不再展开。以上。
PS：实际是笔者还没整理出清晰完整的思路（逃