CV领域顶刊Information Fusion论文分享--LCAMix：基于局部和轮廓感知网格混合的医学图像分割数据增强

CV领域顶刊Information Fusion论文分享：

LCAMix: Local-and-contour aware grid mixing based data augmentation for

medical image segmentation

动动您的小手指，关注一下吧！

01 摘要

医学图像分割经常面临与过拟合相关的挑战，主要是由于训练样本有限和复杂。这一挑战经常促使使用自我监督学习和数据增强。然而，自我监督学习需要明确的手工任务和多个训练阶段。另一方面，基本的图像增强技术，如裁剪、旋转和翻转，对自然场景图像有效，但由于医学图像的各向同性，其效果有限。虽然区域dropout正则化数据增强方法在图像识别任务中已被证明是有效的，但其在图像分割中的应用研究并不广泛。此外，现有的增强方法通常在正方形区域上操作，导致丢失关键的轮廓信息。这对于处理以复杂形状为特征的感兴趣区域的医学图像分割任务尤其成问题。在这项工作中，作者介绍了LCAMix，一种用于医学图像分割的新型数据增强方法。LCAMix通过混合两幅图像及其基于超像素的分割蒙版，结合局部和轮廓感知策略来操作。增强图像的训练过程采用两个辅助的借口任务:首先，利用自适应焦距对增强图像的局部超像素进行分类，利用分割的ground truth mask作为先验知识;其次，利用混合超像素作为互掩模对两源图像进行重构，强调空间敏感性;本文的方法是一种简单的、单阶段的、与模型无关的、即插即用的数据增强解决方案，适用于各种分割任务。值得注意的是，它不需要外部数据或额外的模型。大量的实验验证了其在不同医学分割数据集和任务中的优越性能。

02 本文拟解决的问题

1. 数据过拟合问题：医学图像分割经常面临由于训练样本数量有限和复杂性导致的过拟合问题。

2. 自监督学习的限制：自监督学习需要精心设计的任务和多个训练阶段，可能效率不高。

3. 现有数据增强技术的不足：传统的图像增强技术（如裁剪、旋转、翻转）对于医学图像的效能有限，因为医学图像的各向同性特点。

4. 区域丢弃正则化数据增强方法的局限性：这些方法在图像识别任务中有效，但在图像分割任务中的应用并不广泛研究，并且常常在正方形区域上操作，导致重要轮廓信息的丢失。

图1 各种区域dropout正则化增强样本的可视化。(a) (b)原始图像和相应的带注释的掩模;(c) (d) (e) (f)增强图像和相应生成的掩模。dropout正则化的局部区域用蓝色曲线表示。

03 本文的创新点

1. LCAMix方法：提出了一种新颖的数据增强方法，通过基于超像素的混合来增强数据，同时考虑局部和轮廓信息。

局部和轮廓感知策略：在训练过程中采用两种辅助任务，一是使用自适应焦点边界对增强图像中的局部超像素进行分类，二是利用混合超像素作为相互掩模重建两个源图像，强调空间敏感性。

2. 模型无关性和即插即用：该方法简单、一阶段、模型无关，且作为即插即用的数据增强解决方案，适用于各种分割任务。

3. 不需要外部数据或额外模型：与基于生成对抗网络(GAN)的数据增强方法相比，LCAMix不需要外部数据或额外模型，计算成本较低。

4. 超像素分类和重建损失：引入了超像素级别的自适应焦点边界分类损失和重建损失，这些损失函数可以进一步提升学习到的深度分割模型的性能。

5. 广泛的实验验证：在不同的医学分割数据集和任务上进行了广泛的实验，验证了其优越的性能。

04 方法论

3.1. 概述

框架: LCAMix的框架包括一个混合器（mixer），它在训练期间生成增强的图像及其对应的生成分割掩模和超像素图。这些输入到一个带有三个头的编码器-解码器模型中。

三个头: 分割头（Seg-Head），用于像素级分类；局部分类头（Cls-Head），用于增强图像中局部超像素的分类；重建头（Rec-Head），用于重建原始图像并提供重建损失。

图2 数据增强方法生成增强图像的过程中，相应的掩码和增强图像的超像素地图。

3.2. 基于超像素混合的数据增强

混合策略: 与传统的基于网格混合的方法不同，LCAMix通过两个图像的超像素的微妙组合生成混合图像，以保留两个图像中对象部分的轮廓信息。

增强图像生成: 使用公式(1)描述了增强图像、生成掩模和生成超像素图的生成过程。

图3 超像素池化对每个超像素的解码特征进行平均池化，生成一个超像素向量序列。图像的高度和宽度分别用𝐻和𝑊表示。𝐷表示特征的维度，𝐿表示增强图像中的超像素数。

3.3. 分割头和损失

分割头: 使用1×1卷积层作为分割头进行像素级分类。

损失函数: 使用交叉熵损失和Dice损失作为分割损失，公式(2)表示。

3.4. 超像素分类头和损失

超像素分类: 通过超像素池化和全连接层进行超像素分类，以增强模型对像素类别的识别能力。

自适应焦点边界损失: 提出了一种新的损失函数，考虑了超像素的权重并自动确定动态边界。

3.5. 重建头和损失

重建头: 通过解码的特征进行重建，使用1×1卷积层重建原始图像中被遮盖的区域。

重建损失: 使用均方误差（MSE）损失来衡量原始像素和重建像素之间的差异。

3.6. 训练和推理

训练: 使用总损失（公式(10)）训练深度分割模型，包括分割损失、超像素分类损失和重建损失。

推理: 仅使用编码器-解码器和分割头模块，不增加推理时间。

05 实验结果

图4 (a) (b) (f) (g)原始图像;(c) (d) (e) (h) (i) (j)不同超像素数生成的超像素地图增强图像𝑙。𝑙1和𝑙2为两张原始图像的超像素号。

图5 Glas和MoNuSeg的UNet性能随超像素采样概率𝑝和超参数𝑚的变化而变化。

图6 Dice Score Coefficient (DSC)对比超像素分类损失权重𝜆1和重建损失权重𝜆2。

图7 预测分割结果的视觉对比。(a)图像及其相应的地面真值(带注释的掩模)。(b)使用(W)和不使用(W/O)的数据增强方法的UNet预测掩码。(c)使用(W)和不使用(W/O)的数据增强方法的TransUnet预测掩码。

表1 ISIC 2017 Task 1数据集配置不同主干的LCAMix结果

表2 ISIC 2016 Task 3B数据集不同骨干网配置LCAMix结果

表3 LCAMix在GlaS数据集上配置不同主干的结果

表4 LCAMix在MoNuSeg数据集上配置不同主干的结果。

版权说明

本文中的内容全部来自论文《LCAMix: Local-and-contour aware grid mixing based data augmentation for medical image segmentation》，分享文章的目的是为了让更多刚入门的同学能够快速了解最前沿的科研动态，进而快速筛选出对自己有帮助的文献，助力科研。如有侵权，请联系本公众号立即删除。