浅析深度ResNet有效的原理

深度残差网络是ImageNet比赛中，效果最好的网络，在深度学习的探究过程中，发现对深度的扩展远远比广度的扩展效果要达到的好的太多。理论认为，同层的不同神经元学习不同的特征，越往后层的神经元学习特征的抽象程度越高。可以这样理解，如果要识别一个汽车如下图：

上面的图我画的有些粗糙，但是意思应该表达清楚了，特征的组合识别一个物体，如果特征越抽象则识别物体更加简单，也就是说网络模型越深越好了？那么在搭建一个网络模型只要不停的加深网络不就能够得到更好的分类精度吗？其实不然随着网络层级的不断增加，模型精度不断得到提升，而当网络层级增加到一定的数目以后，训练精度和测试精度迅速下降，这说明当网络变得很深以后，深度网络就变得更加难以训练了。在不断加神经网络的深度时，模型准确率会先上升然后达到饱和，再持续增加深度时则会导致准确率下降。

观察精准度的走势，随着网络层加深，精准度先是达到一个峰值，然后持续走低。误差是普遍存在的，无论是训练集还是验证集，随着误差的传播，越往后误差越大，所以越深的网络效果可能并不会很好。按照信息熵的传播原理，信息在传播的过程中是有损失的，所以越深的网络能够学到的信息就越少，所以就更难训练。另一个比较严谨的解释，因为神经网络在求梯度的时候有个链式法则，求解梯度时会有累乘造成了梯度弥散或者爆炸。

这里写图片描述

所以越深的网络越难训练，且效果可能会变差。有什么办法可以寻找到一个最佳深度网络模型呢？如果我持续加深那么误差会变大，影响模型效果，并且也不清楚到底加多少层才是最佳。有没有一种方式，我可以持续加深网络？即使模型精确度已经饱和，我持续加深也不会对模型精准度有影响？答案是有的，这个时候引出ResNet网络，它是这样的，假设现有一个比较浅的网络（Shallow Net）已达到了饱和的准确率，这时在它后面再加上几个恒等映射层（Identity mapping，也即y=x，输出等于输入），这样就增加了网络的深度，并且起码误差不会增加，也即更深的网络不应该带来训练集上误差的上升。通过“shortcut connections（捷径连接）”的方式，直接把输入x传到输出作为初始结果，输出结果为H(x)=F(x)+x，当F(x)=0时，那么H(x)=x，也就是上面所提到的恒等映射。于是，ResNet相当于将学习目标改变了，不再是学习一个完整的输出，而是目标值H(X)和x的差值，也就是所谓的残差F(x) = H(x)-x，因此，后面的训练目标就是要将残差结果逼近于0，使到随着网络加深，准确率不下降。

也就是说，即使我并不知道多少层是最佳，我通过残差模块，即使已经错过最佳深度我至少模型的精度不会有影响。起初看到这种网络模型很是奇怪，如果是一个浅层网络就能达到饱和，那么后面的残差结构目标是学习一个恒等映，那么学习目标为F(x)接近为0。既然这样，为什么要去学习这个映射？直接写个恒等函数，或者直接设置F(x)=0 输出为x不就行了？残差网络的目的是学到y=x恒等映射函数，那么不就相当于加上的残差网络在最后没起到作用吗？那么为什么会有效呢？首先这个饱和的浅层网络本身就不好寻找，有可能在达到饱和浅层网络深度之前，由于误差的原因模型精度已经下降。那么为什么持续增加层，让模型学习一个恒等映射就会使得模型表达变好呢？ 假设：如果不使用残差网络结构，这一层的输出F'(5)=5.1 期望输出 H(5)=5 ,如果想要学习H函数，使得F'(5)=H(5)=5,这个变化率较低，学习起来是比较困难的。但是如果设计为H(5)=F(5)+5=5.1，进行一种拆分，使得F(5)=0.1，那么学习目标是不是变为F(5)=0，一个映射函数学习使得它输出由0.1变为0，这个是比较简单的。也就是说引入残差后的映射对输出变化更敏感了。进一步理解：如果F'(5)=5.1 ,现在继续训练模型，使得映射函数F'(5)=5。(5.1-5)/5.1=2%，也许你脑中已经闪现把学习率从0.01设置为0.0000001。浅层还好用，深层的话可能就不太好使了。如果设计为残差结构呢？5.1变化为5，也就是F(5)=0.1变化为F(5)=0.这个变化率增加了100%。引入残差后映射对输出变化变的更加敏感了，这也就是为什么ResNet虽然层数很多但是收敛速度也不会低的原因。明显后者输出变化对权重的调整作用更大，所以效果更好。残差的思想都是去掉相同的主体部分，从而突出微小的变化，看到残差网络我第一反应就是差分放大器。这也就是当网络模型我们已经设计到一定的深度，出现了精准度下降，如果使用残差结构就会很容易的调节到一个更好的效果，即使你不知道此刻的深度是不是最佳，但是起码准确度不会下降。代码实现也比较简单，原本的输出结果由F(x)替换为输出F(x)+X，如果维度相同则直接相加，如果维度不同则利用1*1的卷积核变换。当然残差网络还有很多细节， 比如使用预batch normalize ,ResNet-v1 由relu非线性变换，替换为ResNet-v2恒等变换。感兴趣的童鞋，赶紧添加我的微信公共号一起讨论学习吧！

参考文章地址： 如何理解微软的深度残差学习？https://www.zhihu.com/question/38499534

残差resnet网络原理详解 https://blog.csdn.net/mao_feng/article/details/52734438

残差网络的理解 https://blog.csdn.net/m0_37407756/article/details/78852742