深度学习系列（三）卷积神经网络模型（ResNet、ResNeXt、DenseNet、Dence Unet)

内容目录

1、ResNet2、ResNeXt3、DenseNet4、Dence Unet

1、ResNet

《Deep Residual Learning for Image Recognition》https://arxiv.org/abs/1512.03385 在模型发展中，网络的深度逐渐变大，导致梯度消失问题，使得深层网络很难训练，梯度反向传播到前面的层，重复相乘可能使梯度无穷小，随着网络的层数更深，其性能趋于饱和，甚至开始迅速下降，下图所示，56层的性能比20层的性能差。

ResNet 的核心思想是引入一个所谓的Residual Block，即「恒等快捷连接」（identity shortcut connection），直接跳过一个或多个层，这种残差函数更容易优化，能使网络层数大大加深，残差函数F(x) = H(x) – x。如下图所示：

ResNet 架构如下，基于VGG19的架构，我们首先把网络增加到34层，增加过后的网络我们叫做plain network，再此基础上，增加残差模块，得到我们的Residual Network

2、ResNeXt

《Aggregated Residual Transformations for Deep Neural Networks》https://arxiv.org/abs/1611.05431v1 Xie et al. 提出 ResNet 的一种变体 ResNeXt，是ResNet和Inception的结合体，不同于Inception v4的是，ResNext不需要人工设计复杂的Inception结构细节，而是每一个分支都采用相同的拓扑结构。ResNeXt的本质是分组卷积（Group Convolution），通过变量基数（Cardinality）来控制组的数量，比Inception V4的超参数更少。它具备以下构建块：

作者在论文中引入了一个叫作基数（cardinality）的超参数，指独立路径的数量，这提供了一种调整模型容量的新思路。实验表明，通过扩大基数值（而不是深度或宽度），准确率得到了高效提升。作者表示，与 Inception 相比，这个全新的架构更容易适应新的数据集或任务，因为它只有一个简单的范式和一个需要调整的超参数，而 Inception 需要调整很多超参数（比如每个路径的卷积层内核大小）。 这个全新的结构有三种等价形式，fig3.a 就是前面所说的aggregated residual transformations。fig3.b 则采用两层卷积后 concatenate，再卷积，有点类似 Inception-ResNet，只不过这里的 paths 都是相同的拓扑结构。fig 3.c采用的是grouped convolutions，采用32个 group，每个 group 的输入输出 channels 都是4，最后把channels合并。作者在文中明确说明这三种结构是严格等价的，并且用这三个结构做出来的结果一模一样。

3、DenseNet

《Densely Connected Convolutional Networks》https://arxiv.org/abs/1608.06993v3 Huang 等人提出一种新架构 DenseNet，进一步利用快捷连接，形成Dense block将所有层直接连接在一起。在这种新型架构中，每层的输入由所有之前层的特征映射组成，其输出将传输给每个后续层，这些特征映射通过深度级联聚合。

公式是ResNet的，Xl表示l层的输出，Hl表示一个非线性变换，l层的输出是l-1层的输出加上对l-1层输出的非线性变换。

公式是DenseNet的，[x0,x1,…,xl-1]表示将0到l-1层的输出feature map做通道合并的concatenation，而resnet是做值的相加，通道数是不变的。Hl包括BN，ReLU和3 x 3的卷积。 其中一个Dense block如下所示。

一个小的DenceNet如下图所示。

Growth rate

式中，k0代表第1个block的输入，k代表Growth rate，l-1代表当前block的中的前l-1个层。所以每层添加k个feature map到总的stack里面。当然了，这里每次添加的时候总是要以block为单位进行的。 下表为growth rate=32和48的网络。

特点： (1) 相比ResNet拥有更少的参数数量. (2) 旁路加强了特征的重用. (3) 网络更易于训练,并具有一定的正则效果. (4) 缓解了gradient vanishing和model degradation的问题.

4、Dence Unet

这里介绍我们之前的一个工作，用可变形卷积和DenceNet 做医学影像的分割任务。《Automated Segmentation of Cervical Nuclein Pap Smear Images Using Deformable Multi-path Ensemble Model》https://arxiv.org/pdf/1812.00527.pdf DenceNet在前面已经介绍过了，可变形卷积在前面的公众号也介绍过（深度学习系列（一）常见的卷积类型）。下图为Dence Unet主要框架。

我们在Herlev dataset（宫颈癌细胞公开数据集）上进行了测试，结果如下

代码已经开源：https://github.com/Minerva-J/D-MEM