本文为 AI 研习社编译的技术博客,原标题 : Review: RoR — ResNet of ResNet / Multilevel ResNet (Image Classification) 作者 | Sik-Ho Tsang 翻译 | 斯蒂芬·二狗子 校对 | 酱番梨 审核 | 约翰逊·李加薪 整理 | 立鱼王 原文链接: https://towardsdatascience.com/review-ror-resnet-of-resnet-multilevel-resnet-image-classification-cd3b0fcc19bb
在本文中,我们简短地回顾一下RoR(残余网络的残余网络)。在成为最先进的深度学习方法并赢得众多竞赛认可的ResNet成功之后,有许多研究者对如何推广或改进ResNet的做出了研究,相关的有 Pre-Activation ResNet, ResNet in ResNet (RiR), ResNet with Stochastic Depth (SD), Wide Residual Network (WRN)。RoR就是一篇改进ResNet的论文,它们引入了一组概念,就是带有短连接的ResNet模块。这个创新使得网络成为多级分层的ResNet模型。这篇论文于2016年首次出现在ResNet之后,于2017年被接受并最终于2018年TCSVT发表,已经有数十篇引文。
本文包括的内容:
原始ResNet(左),RoR(右)
Original ResNet 显示在左上方,许多Res块级联在一起并形成一个非常深的网络。
在 Res块 中,有两条路径:
利用短连接路径,可以减少梯度消失问题,因为在反向传播期间误差信号可以更容易地传播到前面的层。 上面右侧显示的RoR的建议,我们也可以在多个Res块上进行短连接。除此之外,我们还可以在一组“剩余块组”中建立另一级别的短连接。 作者认为:
级别编号m介绍:
对于中级连接,每个短连接将跨越具有相同数量的特征图的Res块。
对m = 4和5也进行了测试,但在论文中没有任何关于它的细节。结果与m = 3相比不够好。
RoR-3使用原始ResNet(左),RoR-3使用Pre-ResNet或WRN(右)
如上图所示,RoR适应于不同版本的ResNet。
简而言之,RoR-3使用Conv-BN-ReLU。 Pre-RoR-3使用BN-ReLU-Conv,而WRN是更宽更浅的Pre-RoR-3。 (如果有兴趣,请阅读我对原始ResNet,Pre-Activation ResNet和WRN的评论,见原文。)
4.1三个数据集CIFAR-10, CIFAR-100, SVHN
CIFAR-10,CIFAR-100,SVHN数据集上的测试的错误率(%)
4.2 ImageNet数据集
ImageNet:ILSVRC中的1000类的大规模数据集。
ImageNet数据集上的10个目标的Top1和Top5测试错误率(%)
RoR-3的不同层版本始终优于ResNet的不同层版本。本文中有详细的验证实验。如有兴趣,请访问论文。 使用长跳过连接和短跳过连接的类似方法也已应用于生物医学图像分割。希望我也可以下一次谈这个。
相关参考
[2018 TCSVT] [RoR] Residual Networks of Residual Networks: Multilevel Residual Networks
我对图像分类的相关评论博文
[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2] [Inception-v3] [Inception-v4] [Xception] [MobileNetV1] [ResNet] [Pre-Activation ResNet] [RiR] [Stochastic Depth] [WRN] [DenseNet]
感谢 Ludovic Benistant.