Tensorflow入门教程（三十九）——GER-VNet

今天将分享Unet的改进模型GER-UNet，改进模型来自2020年的论文《Beyond CNNs: Exploiting Further Inherent Symmetries in Medical Images for Segmentation》，通过理解该模型思想，在VNet基础上可以做同样的改进。

一、常规卷积网络的局限性

1、常规的卷积神经网络只能利用变化的平移，而忽略医学图像中存在的其它固有对称性，例如旋转和反射。为了缓解这一缺点，本文提出新颖的组不变性分割框架，其通过编码那些固有的对称性来学习更精确的表达。首先，在每个方向上都设计了基于核的不变运算，可以有效地解决现有方法中学习对称性的问题。然后，为使分割网络保持全局等价，设计了具有分层对称约束的独特组层。通过利用更多的对称性，新颖的分割CNN可以比常规CNN大大降低样本复杂度和过滤器的冗余（大约2/3）。

2、为了让常规CNN拥有更多的对称属性，常见有三个策略方法。第一个是数据增强，是常见的有效方法，虽然数据增强可以让CNN学习到不同变换特征，但是学习到的CNN特征参数大小会变大从而导致特征参数过度冗余，过拟合风险也越高。此外，这类软约束不能保证训练好的CNN模型在测试数据或训练数据上具有不变性。第二个是在现有旋转不变网络中可以在每一层维持多个旋转特征图，并且易于实现。但是在每一层旋转和重复原始特征输出，大大增加了存储需求。第三个是通过作用于滤波器的旋转等变性的方式，这已经成为一个有希望的方向。尽管旋转的卷积核可以在每个卷积层的不同方向上实现局部对称，但是这些解决方案通过会限制了网络的深度和全局旋转不变性，这是由于维数爆炸和方向池化操作产生了加剧噪声所致。

3、论文灵感来自于图像常规分类中的组不变CNN。通过将平移，旋转和反射结合在一起来建立对称组，以显着提高每个内核的利用率并减少过滤器的数量。设计了强大的分层约束以确保每个网络的均等性并具有严格的数学证明。在过滤器而不是特征图上执行等变变换，以减少内存需求。组不变层和模块可以以端到端的方式使网络全局不变。此外，它们可以堆叠到用于各种视觉分割任务的更深层次的体系结构中，而基于常规CNN的对等对象的计算开销却可以忽略不计。

二、GER-Unet网络

1、组不变分割框架的核心模块

所有的网络操作都是基于相同对称组，其由平移，旋转90度和反射组成，因此一共有八个组即4个纯旋转和自己相应反射。

组输入层：第一层输入是原始输入图像。将输入图像与8个旋转和反射具有相同卷积核进行卷积，最开始是一个卷积核参数，通过旋转90度和自己反射生成8个方向卷积核，如下图所示。

组隐藏层：输入是不同方向的特征图。对输入每个方向的特征图与8个旋转和反射对称组进行卷积计算，如图所示。

组上采样层：与传统常规CNN中的上采样操作一样，可以使用最近邻和双线性插值来完成上采样，不过与传统不同之处是组上采样是在8个方向上同时上采样，而传统是在1个方向上。具体实施时，可以分别对8个方向上的组特征图进行上采样，或者将8个方向上的组特征图进行拼接在上采样，然后再将其分离成8个方向组特征图。

组跳跃连接层：常规的跳跃连接是作用在两个独立的特征输出模块上，组跳跃连接是在所有方向上进行的，为了将编码和解码中的组卷积输出进行连接，按照每个方向上进行拼接或相加。这样组跳跃连接可从每个对称属性中获得更多细节，得到更精确地分割结果。

组输出层：将不同方向的组分割结果进行汇集。为了保证不同旋转和反射的不变性，采用在每个方向上全局平均池化操作得到不变结果。然后将所有方向的组输出层结果变换到单通道的二值预测图。由于池化操作会降低特征图分辨率，对于分割是不利的，所以在组隐藏层中采用不同的步长来替换池化。

2、GER-Unet网络

整个结构包含了卷积，batch normalization和激活函数，由1个组输入层，8个残差模块，里面由很多组隐藏层构成，3个组上采样层，1个组输出层和其它用来像素级分割模块构成。

三、实验细节及结果

1、训练数据：131例增强CT数据。

2、评价指标：为了比较不同分割方法的结果，采用dice，Hausdorff距离，Jaccard，精度（称为正预测值），召回率（称为灵敏度系数或真实阳性率），特异性（称为真实阴性率）和F1得分。

3、参数设置：训练数据与测试数据比值是4：1。在tesla V100（16g显存）上训练，batchsize是4，学习率是0.0002，训练次数是300epochs，并采用早停止策略，采用交叉熵函数，采用Adam优化器。

4、结果比较

相比于其它网络模型，GERUnet鲁棒性更好，各项指标都优于其它网络模型结果。收敛速度也比其它网络模型速度快。