Segment-Anything的一些相关论文总结

1、 Segment Anything Model (SAM) Enhanced Pseudo Labels for Weakly Supervised Semantic Segmentation

Tianle Chen, Zheda Mai, Ruiwen Li, Wei-lun Chao

https://arxiv.org/abs/2305.05803

图像级监督的弱监督语义分割(WSSS)由于其标注成本较像素级标注低而受到越来越多的关注。大多数现有方法依赖于类激活图(Class Activation Maps, CAM)来生成像素级的伪标签进行监督训练。但是CAM经常会遇到部分激活——激活最具辨别性的部分而不是整个对象区域，以及错误激活——不必要地激活对象周围的背景。这篇论文引入了一种简单而有效的方法来解决这些限制，利用最近发布的SAM来生成更高质量的伪标签。SAM是一种分割基础模型，它在将图像分割成片段方面表现出较强的零样本能力，但缺乏对这些区域的语义标记。所以论文使用特定类的伪标签作为选择最相关掩码的信号，并标记它们以生成该类的精细伪标签。SAM生成的片段非常精确，从而大大改善了部分激活和错误激活。

2、Personalize Segment Anything Model with One Shot

Renrui Zhang, Zhengkai Jiang, Ziyu Guo, Shilin Yan, Junting Pan, Hao Dong, Peng Gao, Hongsheng Li

https://arxiv.org/pdf/2305.03048.pdf

SAM已经被证明是一个强大而快速的框架，彻底改变了分割模型。虽然SAM具有普遍性，但在没有人工提示的情况下为特定的视觉概念定制SAM仍然有待研究中。这篇论文提出了一种无需训练的SAM微调方法，称为PerSAM。只要给定一张带有参考掩码的图像，PerSAM首先通过位置先验定位目标概念，并通过三种技术将其分割到其他图像或视频中:目标引导注意力，目标语义提示和级联后细化。这样就可以在没有任何训练的情况下有效地将SAM进行定制化。

代码和演示发布在https://github.com/ZrrSkywalker/Personalize-SAM

3、Zero-shot performance of the Segment Anything Model (SAM) in 2D medical imaging: A comprehensive evaluation and practical guidelines

Christian Mattjie, Luis Vinicius de Moura, Rafaela Cappelari Ravazio, Lucas Silveira Kupssinskü, Otávio Parraga, Marcelo Mussi Delucis, Rodrigo Coelho Barros

https://arxiv.org/abs/2305.00109

医学成像中的分割是诊断、监测和治疗各种疾病和医疗条件的关键组成部分。医学分割领域由许多专门的深度学习模型主导，每个模型都针对特定的分割任务和图像模式进行了微调。SAM采用了ViT神经架构，并利用大量的训练数据集来分割几乎任何对象;但是其在医学领域的适用性尚未得到研究。这篇论文通过在四种成像方式(包括x射线、超声、皮肤镜和结肠镜)的六个数据集上实施八种不同的提示策略，探索了SAM在医学成像中的零样本性能

源代码以及演示：https://github.com/Malta-Lab/SAM-zero-shot-in-Medical-Imaging

4、Customized Segment Anything Model for Medical Image Segmentation

Author : Kaidong Zhang, Dong Liu

https://arxiv.org/abs/2304.13785

论文提出了医学图像分割的通用解决方案SAMed。SAMed以大规模图像分割模型segmentation Anything model (SAM)为基础，探索针对医学图像分割的定制化大规模模型的研究新范式。SAMed将低秩调优策略应用于SAM图像编码器，并在标记医学图像分割数据集上与提示编码器和掩码解码器一起进行调优。由于SAMed只更新SAM参数的一小部分，因此在实际使用中，它的部署成本和存储成本非常小。

SAMed的代码 https://github.com/hitachinsk/SAMed

5、An Empirical Study on the Robustness of the Segment Anything Model (SAM)

Yuqing Wang, Yun Zhao, Linda Petzold

https://arxiv.org/abs/2305.06422

SAM)是一般图像分割的基础模型，它主要在自然图像上表现出令人印象深刻的性能，但了解其对各种图像扰动和域的稳健性对于经常出现此类挑战的实际应用至关重要。这篇论文在不同的现实世界条件下对SAM进行了全面的稳健性调查。实验包含了大范围的图像扰动。并且实验结果表明，在扰动图像下，SAM的性能普遍下降，并且在不同的扰动下具有不同程度的脆弱性。但是通过定制提示技术和利用基于每个数据集独特特征的领域知识，可以增强模型对这些扰动的弹性，解决数据集特定的挑战。

6、A Comprehensive Survey on Segment Anything Model for Vision and Beyond

Chunhui Zhang, Li Liu, Yawen Cui, Guanjie Huang, Weilin Lin, Yiqian Yang, Yuehong Hu

https://arxiv.org/abs/2305.08196

SAM在打破分割边界方面取得了重大进展，极大地促进了计算机视觉基础模型的发展。为了充分理解SAM，论文进行了一项调查研究。作为第一个全面回顾基于SAM基础模型的任何视觉及其他任务分割进展的工作，通过讨论其历史发展，最新进展以及对广泛应用的深刻影响，重点关注其在各种任务和数据类型中的应用。首先介绍了包括SAM在内的基础模型的背景和术语，以及与SAM同时代的最先进的方法，这些方法对于分割任何任务都很重要。然后，分析和总结了SAM在各种图像处理应用中的优势和局限性，包括软件场景、现实场景和复杂场景。

作者:Monodeep Mukherjee