论文就是要“脑洞大开”：ResNet50+SAM助力医学影像分割

论文创新需要脑洞大开（ResNet50+SAM助力医学影像分割）--CycleSAM: One-Shot Surgical Scene Segmentation using Cycle-Consistent Feature Matching to Prompt SAM

动动您的小手指，关注一下吧！

01 摘要

最近推出的任意细分模型(SAM)有可能大大加速细分模型的发展。然而，直接将SAM应用于外科手术图像具有关键的局限性，包括:(1)在测试时需要特定于图像的提示，从而无法实现全自动分割;(2)由于自然图像和外科手术图像之间存在很大的域差距，因此无效。在这项工作中，作者提出了CycleSAM，这是一种一次性手术场景分割方法，它在测试时使用训练图像-掩码对来自动识别测试图像中对应于每个对象类的点，然后可以用来提示SAM生成对象掩码。为了产生高保真匹配，作者引入了一种新的空间循环一致性约束，强制测试图像中的点建议与训练图像中目标前景区域内的点重新匹配。然后，为了解决领域差距，而不是直接使用SAM的视觉特征，作者采用了ResNet50编码器，以自监督的方式对手术图像进行预训练，从而保持了高标签效率。在两个不同的外科语义分割数据集上评估了CycleSAM的一次性分割，全面优于基线方法，达到了全监督性能的50%。

图1 CycleSAM概览。

02 拟解决的问题

文章指出，尽管SAM在自然图像领域的分割任务中表现出色，但直接将其应用于手术图像存在两个主要问题：

1. 测试时需要图像特定的提示：SAM在测试阶段需要用户提供点、框或掩码等形式的提示，这阻碍了完全自动化的分割过程。

2. 域偏移问题：自然图像与手术图像之间存在显著的领域差异，这导致SAM在手术图像上的效果不佳。

03 本文的创新之处

1. 循环一致性特征匹配（Cycle-Consistency Feature Matching）：CycleSAM使用训练图像-掩码对在测试时自动识别测试图像中与每个对象类别相对应的点，然后利用这些点作为提示，引导SAM生成对象掩码。

图2 算法1概览。

2. 空间循环一致性约束（Spatial Cycle-Consistency Masking）：为了生成高保真的匹配，文章引入了一种新颖的空间循环一致性约束，强制测试图像中的点提议重新匹配到训练图像中的对象前景区域内的点。

图3 算法2概览

3. 自监督特征提取器：为了解决领域差异问题，CycleSAM不直接使用SAM的视觉特征，而是采用在手术图像上以自监督方式预训练的ResNet50编码器，从而保持高标签效率。

4. CycleSelect模块：这是CycleSAM中的一个关键组件，它通过改进的特征点匹配来生成测试图像中对象类别的点提示，包括空间循环一致性掩蔽函数、多尺度特征匹配以及点提示采样过程的多项改进。

5. 线性特征投影器的训练：通过在前景和背景点特征之间实施嵌入级别的对比损失，训练线性特征投影器，以进一步调整点特征。

04 部分实验结果

表 1 内窥镜- seg50 (ES50)和CaDIS结果。作者将基线分为4类:(1)传统分割方法，其中作者使用DeepLabV3+ (DLV3P)作为代表性基线并进行各种权重初始化和线性探测/微调的实验;(2)基于sam的基线方法，包括微调，适配器和自动提示生成方法;(3)作者提出的CycleSAM和变体(主干，初始化);(4)一个完全监督的DeepLabV3+模型来表示天花板性能。第1-3组的所有表现都具有直接可比性。

表2 在Endoscapes-Seg50上的点采样消融研究。

版权说明