论文阅读学习 - ResNet - Identity Mappings in Deep Residual Networks

论文阅读学习 - ResNet - Identity Mappings in Deep Residual Networks

[Paper]

[Code-Torch - Deep Residual Networks with 1K Layers]

摘要: 对深度残差网络理论分析. 残差构建模块中，采用恒等映射(identity mapping)作为 skip connetions 和 after-addition activation时， forward 和 backward 可以从一个 block，直接传递到任何其他 blocks. 阐述恒等映射的重要性.

1. 残差单元和跳跃链接 Skip Connections

深度惨差网络ResNets 是由许多堆积的残差单元 Residual Units 组成.

如 Fig (a). 每个残差单元可以表示为：

这里写图片描述

3. Experiments

３.1 Skip Connections

这里写图片描述

这里写图片描述

这里写图片描述

3.2 Activation Functions

这里写图片描述

这里写图片描述

Related

[1] - 论文阅读学习 - ResNet - Deep Residual Learning for Image Recognition