Tensorflow入门教程（四十八）——Seg-GLGAN

今天将分享Unet的改进模型Seg-GLGAN，改进模型来自2020年的论文《A CONTEXT BASED DEEP LEARNING APPROACH FORUNBALANCED MEDICAL IMAGE SEGMENTATION》，简单明了给大家分析理解该模型思想。

1、Seg-GLGAN网络优点

U-Net是图像分割中最常用的医学深度学习网络。虽然U-Net被广泛使用，在处理具有类不平衡的标签时会遇到问题。问题主要是使用了交叉熵（CE）损失，众所周知，CE很难处理类别不平衡问题。由于大多数医学图像都是有较少的前景像素，而有较大背景像素，使用CE将学习偏于多数的决策边界类，这将导致不正确的分割。为了缓解类别失衡问题，基本方法是根据每个类别数量的倒数来对类别重新分配权重。但这种方法有两个缺点：1）对于具有不同对象的数据集，分配适当的权重将是一个问题，2）最少的类别会受到噪声的影响，可能会导致训练不稳定。最常见的用来解决类别不平衡问题的损失函数是dice和focal损失。在focal损失中，在CE损失中增加了一个因素，以区分容易（背景）和困难（前景）物体。这两个与CE相比，损失函数已显示出很好的结果，但是仍然面临数据集的类别严重失衡的困难。

最近，生成对抗网络（GAN）已广泛用于各种具有挑战性的医疗分割任务。GAN由生成器和鉴别器组成；在分割的情况下，生成器是图像到mask的预测网络，而鉴别器是真/假分类网络。由于鉴别器是着眼于整个预测/目标标签，将其分类为真/假分类。因为这样，鉴别器将对细微的变化不敏感，在局部区域缺乏特定的局部信息。同样，U-Net中的CE损失函数会考虑整个预测/目标标签，而对特定兴趣区域（ROI）没有任何知识。由于缺乏局部信息，U-Net预测的分割标签的形状将与目标标签不同。考虑上述弊端，文章为U-Net设计了损失函数和基于GAN的新颖架构，其可直接缓解类别失衡问题，通过考虑全局和局部信息，从而产生的与金标准更相似的形状。总体方法如图1所示。

文章的主要贡献概述如下：

A、提出了一种基于交叉熵（CE）损失的上下文联合损失函数，其是线性全局和局部CE损失的组合。全局CE损失是针对整个预测和目标标签，而局部CE损失是针对预测和目标的ROI标签。

B、提出了一种新颖的架构Seg-GLGAN，由生成器和上下文判别器组成。上下文判别器由全局和局部特征提取器组成。全局特征提取器是将整个的预测/目标标签做为输入，而局部特征提取器是将预测/目标标签的ROI做为输入。

C、还表明局部信息通过两种方式传递到基于上下文CE损失函数的U-Net和上下文中的判别器的Seg-GLGAN中：1）静态ROI：ROI是在特定的维度上，用于整个训练数据集。2）动态ROI：训练数据集中每个图像/标签对的ROI均不同，依据目标标签中对象的大小来定的。

D、针对两个具有挑战性和不平衡的分割数据集进行了实验：1）二值分割：前列腺MR图像分割2012（PROMISE12）和2）多类别分割：自动心脏诊断挑战赛（ACDC）。我们显示将局部信息添加到U-Net和GAN，在与各种基准方法相比有了实质性的分割指标提高。

2、Seg-GLGAN结构

2.1、网络结构

提出的架构Seg-GLGAN的灵感来自基于GAN的修复任务中。在修复中，全局和局部信息一起使用以提供更好的上下文来实现一致性的恢复。Seg-GLGAN结构有生成器和上下文判别器。架构Seg-GLGAN的结构如图所示。

生成器是最常用的U-Net，上下文判别器由三个部分组成：a、全局特征提取器：全局特征提取器是将整个目标分割mask作为输入，并输出64维特征向量。全局特征提取器由3个卷积层跟着2个全连接层组成的。激活函数是泄漏ReLu。每个卷积层后跟着一个平均池化层。卷积核大小9x9、5x5和5x5，相应的输出通道是32、64和64。b、局部特征提取器：局部特征提取器是将目标分割mask的ROI作为输入，并输出64维特征向量。该架构与全局特征提取器基本相似，除了全连接层的特征向量的维数不一样，这取决于ROI尺寸进行修改。c、分类器：128维向量是全局特征提取器和局部特征提取器的特征向量拼接而来的。特征向量输入到单个全连接层，通过sigmoid函数，输出置信度分数来对目标分割mask进行真假判别。

2.2、损失函数

设定phy为图像提取ROI的函数。联合优化生成器和上下文判别的体系结构Seg-GLGAN由下式给出：

其中，

3、实验设置与结果

3.1、训练数据集：ProstateMRImage Segmentation 2012(PROMISE12)和Automated Cardiac Diagnosis Challenge (ACDC)

3.2、训练数据预处理：PROMISE12数据采样到1x1x1mm，归一化到0-1，中心裁切到128x128，70%用来训练，30%用来测试。ACDC数据归一化到0-1，70%用来训练，30%用来测试。

3.3、评估指标：dice系数，Hausdorff距离

3.4、源码链接：https://github.com/Bala93/Context-aware-segmentation

3.5、实现细节

ROI选择：i）静态ROI（StROI）：在训练过程中，PROMISE12和ACDC的ROI大小是凭经验得出的设置为50x50和60x60。ii）动态ROI（DyROI）：根据物体的大小动态调整ROI大小。对于Seg-GLGAN，在上下文判别器中全连接层网络采用全局平均池化层来处理不同尺寸的ROI。

训练细节：每个模型都使用Adam优化器进行了150个epoch的训练，所有实验中学习率为1e-4。根据经验设置Lcontext和LSeg-GLGAN中的lamda为1。

3.4、结果

与其他流行方法相比，提出的损失LCONTEXT和网络Seg-GLGAN有更好的分割性能指标。