复旦大学提出SemiSAM | 如何使用SAM来增强半监督医学图像分割？这或许是条可行的路！

半监督学习由于相比全监督方法对专家获取丰富标注的依赖较小而受到了广泛关注，这在医学图像分割等需要领域专家进行像素/ Voxel 级 Token 的领域尤为重要。尽管半监督方法可以通过利用 未标注 数据提高性能，但在标注资源极度有限的情况下，全监督方法之间仍然存在差距。 在本文中，作者提出了一种简单而有效的方法，探索如何使用Segment Anything Model（SAM）来增强半监督医学图像分割。具体而言，使用领域知识的分割模型为SAM提供信息，用于定位和生成输入提示。然后，生成的SAM伪标签作为额外的监督，帮助半监督框架的学习过程。 实验结果表明，SAM的辅助显著提高了现有半监督框架的性能，尤其是在只有一张或几张 Token 图像的情况下。

1 Introduction

医学图像分割的目标是从医学图像（如器官和病变）中识别特定的解剖结构，这是为提供可靠的体积和形状信息并协助许多临床应用（如疾病诊断和定量分析）提供基础和重要的一步。尽管基于深度学习的方法在医学图像分割任务上表现出色，但大多数这些方法都需要相对大量的优质标注数据进行训练，而获取大规模的仔细 Token 数据集是不切实际的，尤其是在医学成像领域，只有专家能够提供可靠和准确的分割标注。此外，常用的医学成像模式如CT和MRI是3D体积图像，这进一步增加了手动标注的工作量，与2D图像相比，专家需要逐层从体积切片进行分割。

为了应对这个挑战，已经投入了大量的研究来研究标注高效的深度学习方法以用于医学图像分割。这些方法中，半监督学习是一种更实际的方法，通过鼓励模型利用 未标注 数据，这在与有限量的 Token 数据进行训练时更容易获得。半监督学习通常分为两类：基于伪标签的方法为 未标注 数据分配伪标签，并使用 Token 和伪 Token 数据训练模型，以及基于一致性学习的方法使用无监督正则化从 Token 和 未标注 数据中学习。尽管这些方法可以通过利用 未标注 数据来提高性能，但在标注资源极度有限的情况下，完全监督方法之间仍然存在差距。

最近，像Segment Anything Model（SAM）这样的分割基础模型由于在各种语义分割任务上具有强大的泛化能力而受到了广泛关注。尽管最近的研究揭示了SAM在医学图像分割方面的性能有限，因为自然图像和医学图像之间的差异，但它仍然为当手动标注图像稀缺时作为可靠的伪标签生成器开启了新的机会。

在本文中，作者提出了一种简单而有效的方法，探索将SAM作为增强一致性学习半监督医学图像分割框架的额外监督分支，该框架在标注资源极度有限的情况下进行。具体而言，分割模型为SAM提供信息，用于定位和生成指向SAM的提示点。除了优化分割模型，基于 Token 案例的监督分割损失和基于 未标注 案例的一致性损失，作者还利用SAM和分割模型之间的预测一致性作为额外的监督信号，以辅助学习过程。通过在两个半监督学习框架下对左心房（LA）数据集[17]进行实验，SAM的辅助显著增强了分割性能，尤其是在只有一张或几张 Token 图像的情况下。

2 Method

作者提出的增强半监督分割框架的结构如图1所示。

半监督框架（在这里作者使用平均教师框架作为示例）主要由两个组成部分：主分支，具有分割网络，用于输入原始图像并生成主要分割输出（即学生的平均教师模型的输出）；一致性分支，用于引入对输入图像或网络条件的扰动（例如，平均教师模型从学生模型到教师模型的指数移动平均（EMA）），以生成额外的分割输出（即平均教师的教师模型的输出）。关于半监督分割任务，作者定义 Token 集和 未标注 集，其中和分别表示输入图像和相应的真实值，而在大多数场景中，M<<nd_{l}，作者计算监督分割损失\mathcal{l}_{seg}，其中主要分割输出和真实值之间。

而对于="" 未标注="" 集\mathcal{l}_{con}，基于假设，同一图像在不同的条件下分割应该相同。然后，半监督框架通过优化监督分割损失和无监督一致性损失的组合来利用="" 数据进行训练。<="" p="">

然而，当半监督学习中只有一个或几个 Token 图像时，模型无法学习到足够的领域知识来准确地分割具有复杂结构的挑战区域，而一致性学习可能会导致模型对大多数目标产生“相似但错误”的预测，并忽视固有信息。由于粗糙的分割可以提供信息用于SAM的定位和生成提示点，作者采用SemiSAM，作为额外的监督分支，生成相对可靠的伪标签来指导学习过程。在现有半监督框架的基础上，主分支的输出用于生成SemiSAM的输入提示。然后，作者估计主分割输出与从SemiSAM生成的伪标签之间的 consistency loss

作为额外的监督信号，以辅助半监督学习过程。因此，任务可以表述为最小化以下函数：

其中

，

和

分别表示学生模型、教师模型和SAM的权重。为了控制监督分割损失和一致性损失之间的平衡，遵循相关工作的设计[19, 25]，使用一个分段加权系数

来减小一致性损失在早期训练阶段的干扰，其中

表示当前迭代次数，

表示最大迭代次数。对于作者框架中的SAM一致性损失，作者设置一个分段加权系数

，以在早期训练阶段增强SAM的指导作用并减小可能误导的晚期训练阶段。

3 Experiments

Dataset and Implementation Details

为了评估所提出方法的表现，作者在左心房分割挑战数据集[17]上进行实验。该数据集包含100个使用 gadolinium 增强的 MR 成像扫描（GE-MRIs）和相应的左心房（LA）分割掩膜用于训练和验证。这些扫描具有等比分辨率

。作者的所有实验均在 Python 中使用 PyTorch 实现，并使用 NVIDIA A100 GPU。作者使用 V-Net [12] 作为半监督 Backbone 网络，使用 SAM-Med-3D [16] 作为分割 3D 体积医学图像的 SAM Backbone 网络。遵循 [19] 中的任务设置，作者将 100 个扫描分为 80 个用于训练和 20 个用于测试，并应用相同的实现细节，如优化器、迭代次数和衰减率，排除从

到

小子体积的改变，以适应 SAM-Med3D [16] 的输入。作者使用 SGD 优化器以 0.01 的初始学习率更新网络参数，并在 2500 迭代后除以 10，最大迭代次数为 6000。作者使用分割任务中常用的四个指标进行评估，包括 Dice 相似系数（Dice）、Jaccard 指数（Jaccard）、95% Hausdorff 距离（95HD）和平均表面距离（ASD）。95HD 和 ASD 较低表示更好的分割性能，而较大的 Dice 和 Jaccard 表示更好的分割结果。

Comparison with Other Segmentation Methods

在本节中，作者在左心房分割数据集[17]上对基于训练的自动分割方法和基于SAM的交互式分割方法进行比较分析。具体而言，由于原始SAM[5]是基于2D图像进行分割的，因此提示应在每个包含目标目标的切片上给出，以获得整个3D图像的分割。

表1展示了不同方法在测试集上的分割性能。对于基于SAM的交互式分割方法，可以观察到，提示点数增加会导致分割性能提高。此外，通过利用体积信息，SAM-Med3D在提示点数显著较少的情况下，表现优于经典SAM。尽管这些方法可以在不需要像素/ Voxel 级训练标注数据的情况下实现零样本分割，但仍需要大量的手工工作来 Token 每个测试图像的足够提示点，以获得可接受的性能。对于基于训练的自动分割方法，随着 Token 训练数据的数量增加，分割性能会增加。然而，当只有一个或几个 Token 图像可用时，性能远落后于完全监督性能。作者的方法可以利用SAM作为额外的监督信号，不需要手动提示来辅助学习过程，并进一步提高现有半监督框架的性能。

表2显示了SemiSAM在两种半监督框架上的性能，即平均教师（MT）[14]和不确定性感知平均教师（UA-MT）[19]，以及不同数量的 Token 图像。利用SAM作为额外的正则化分支进一步提高了现有半监督方法的性能，在仅使用1，2和4个 Token 案例的情况下， dice 相似系数提高了10.78％，11.29％和8.02％。然而，作者观察到，当相对大量的 Token 数据可用（8个/10％）时，仅仅强制SAM和半监督分割模型的输出之间的一致性并不能显著提高或甚至导致分割性能下降，因为在这样的场景下，基于训练的分割方法的表现超过了基于SAM的零样本分割方法。

4 Conclusion and Discussion

在本文中，作者提出了一种简单而有效的方法，探索在标注资源极度有限的场景中，将SAM作为增强一致性学习半监督医学图像分割框架的额外监督分支的使用。与基于 Token 案例的经典监督分割损失和基于 未标注 案例的无监督一致性损失不同，作者利用SAM和半监督分割模型之间的预测一致性作为额外的监督信号，以辅助学习过程。通过在左心房MRI分割数据集上进行评估，SemiSAM进一步提高了两个现有半监督框架的分割性能，尤其是在极有限标注场景下，即只有1或几个 Token 数据可用时。作者的工作为在获取 Token 数据困难且昂贵的医学图像分割领域提供了新的见解。

作者的研究目前存在一些局限性，需要在未来的工作中解决。首先，简单地强制SAM和半监督分割模型的输出之间保持一致性，在相对大量的 Token 扫描可用的情况下，可能不会提高分割性能，甚至可能会降低分割性能。作者有意探索比与SAM更强大和可靠的利用SAM，以确保在不同标注比例下持续改进。此外，减少SemiSAM中由噪声提示引起的表现降低也是重要的，以确保更可靠的指导。另一个局限性是，所提出的 method 仅在心脏 MRI 扫描的单个数据集上进行了评估，缺乏多样性。作者希望在不同的目标、不同的模态和更广泛的分割任务上进行更全面的评估，并进一步扩大SemiSAM的灵活性，使其适应更多的半监督框架。

参考

[1].SemiSAM: Exploring SAM for Enhancing Semi-Supervised Medical Image Segmentation with Extremely Limited Annotations.