端到端解决方案 Dr-SAM | 无需额外训练，助力血管造影图像分析与诊断！

公众号-arXiv每日学术速递

发布于 2024-05-11 18:17:49

1120

发布于 2024-05-11 18:17:49

AI的最新进展显著改变了医学成像领域，特别是在血管造影方面，通过提高诊断精度和改善患者护理。然而，现有研究在分析主动脉和髂动脉方面存在局限性，尤其是在血管异常检测和特征描述方面。为了填补这一空白，作者提出了Dr-SAM，一个全面的多阶段框架，用于血管分割、直径估计和异常分析，旨在通过血管造影图像检查外周血管。对于分割，作者引入了一种定制化的正/负点选择机制，应用于针对医学（血管造影）图像的Segment Anything Model (SAM)之上。然后，作者提出了一种形态学方法来确定血管直径，随后是作者的直方图驱动的异常检测方法。此外，作者引入了一个新的基准数据集，用于全面分析外周血管造影图像，作者希望这能推动这一方向上的后续研究，从而提高诊断精度，最终为面临血管问题的个体带来更好的健康结果。https://github.com/vazgenozhranyan/Dr.SAM

1 Introduction

下肢和骨盆器官的血液供应在很大程度上依赖于肾下主动脉和骨盆动脉。这些血管的任何狭窄（狭窄）[19]或扩张（动脉瘤）都可能导致严重的健康问题。血管造影是一种使用X射线和对比剂的成像技术，用于精确诊断和治疗这些状况。这种成像技术在识别肾下主动脉和骨盆动脉的狭窄和动脉瘤方面特别有效。随着技术的发展和微创手术的引入，血管造影显著提高了血管疾病患者的治疗效果。随着AI技术的发展，血管造影图像得到了语义分析的机会，更有效地辅助医生进行诊断预测。

进行血管造影检查时，医生将导管插入动脉，并通过导管注入含有碘的对比剂进入血管。现在可以使用X射线（通常采用减影技术）来可视化血管，以识别潜在的狭窄或扩张。这些图像用于评估血管直径、狭窄或动脉瘤以及精确的定位。如果在血管造影期间检测到相关狭窄，特别是如果它显著影响血流量，可能需要立即治疗。在这种情况下，球囊或支架血管成形术可能是一种有效的干预措施。在这种情况下，将一个带有小气球末端的导管引入狭窄区域，然后充气以扩大狭窄并恢复正常的血液流动。因此，快速精确地评估血管直径及其变化对于狭窄/动脉瘤的检测和表征至关重要。

在血管造影检查期间同时治疗狭窄具有多个优点。首先，它可以减少患者稍后进行单独手术可能出现的并发症风险。其次，它可以使血液流动更快地恢复，最小化组织损伤和并发症（如组织丧失或坏疽）的风险。此外，及时治疗狭窄可能减少重复干预的需要，并改善长期预后。因此，快速精确的血管变化评估至关重要。

在作者的工具帮助下，医生可以比手动检查更快地分析图像。这种效率缩短了诊断和治疗开始之间的时间，这对于需要迅速采取行动的状况至关重要。它还显著降低了由于人为因素（如疲劳或主观解释）导致的诊断错误风险。

为此，作者开发了Dr-SAM，这是一个端到端的框架，用于血管造影图像分析，包括血管分割、直径测定和异常检测/表征。

已经开发了各种基于滤波器、学习或区域生长的方法来进行血管造影分割[6, 11]，包括广泛使用卷积神经网络（CNNs[3, 17]）。CNN在各个应用中的分割效果已经得到证明，并提供了解决这一复杂领域中传统方法缺点的潜在解决方案。

最近，随着CNN在一般领域分割任务中的进步，Segment Anything Model（SAM）[10]被开发出来，作为一个用于最终分割的交互式工具。然而，由于SAM需要正标签点来进行精确分割的限制，直接在血管造影图像中使用SAM进行血管分割通常会导致不正确的区域选择（见图2）。因此，作者设计了一个特殊的正点选择机制，专门用于与SAM一起处理血管造影图像。

在分割对应区域内的血管后，作者进一步估计血管直径并分析狭窄/动脉瘤异常。为此，作者通过剪除某些分支利用二值 Mask 的拓扑骨架。由于二值 Mask 的噪声，拓扑骨架[2]可能包含不是实际血管分支的分支。作者的算法通过它们的大小识别这些分支并将它们剪除，从而得到干净的基于树的血管结构。这个过程提高了血管段近似直径估计的准确性，有助于识别狭窄/动脉瘤。

此外，作者介绍了一个由领域专家制作的用于血管造影图像分割和异常检测的基准数据集。作者在所提出的基准上验证了作者的方法，并希望作者的数据集能够进一步推动这一方向的研究。

总结来说，作者的贡献有三点：

作者提出了一种用于使用SAM从血管造影X射线图像中分割血管的正点选择机制。
作者引入了一种在血管二值 Mask 上检测狭窄和动脉瘤的算法。
作者介绍了一个新的基准数据集，其中包含外周血管的X射线图像以及血管二值 Mask 和异常点标签。

2 Related work

以下是2相关工作的开始部分。

近年来，在计算机视觉领域，特别是在目标检测和识别领域，已经取得了显著的进展。本节回顾了与作者所提出方法最为相关的工作。

2.1 目标检测

目标检测是计算机视觉中的一个基本任务，其目标是识别并定位图像或视频中的感兴趣物体。传统的目标检测方法主要基于手工制作的特征和滑动窗口框架。然而，这些方法受到计算复杂度高和对复杂场景泛化能力差的限制。

2.2 基于深度学习的检测

随着深度学习的兴起，卷积神经网络（CNN）已成为目标检测的主流方法。与传统方法不同，基于CNN的检测器可以从大量数据中自动学习层次特征，在速度和准确性上都取得了显著的提升。

Segmentation of blood vessels in x-ray images

在作者的研究中，作者探讨了用于血管造影图像分割的图像处理方法[23]和基于学习的方法[10]。社区中数据的缺乏以及问题本身的创新性限制了专门模型的微调或训练。因此，作者选择采用零样本方法，利用预训练的分割模型。来自Meta AI的Segment Anything Model (SAM) [10]展示了这一进展，提供了一个能够识别和分割广泛目标而不需要事先训练的系统。

与这篇论文类似，一些现有工作利用SAM进行医学图像分割。然而，它们主要选择在广泛的医学2D和3D图像上对SAM进行微调，包括眼科图像。[5]采用多框提示来分割视盘。[15]的作者使用SAM来标注他们的数据集，以训练一个新的网络用于OCTA血管分割。[16]建议一个新的可学习提示层来分割眼科图像。[22]的作者在64个开源医学数据集上训练了一个模型，并添加了提示选项。

尽管之前的工作取得了令人印象深刻的成果，但它们大多数要么分割医学图像中的凸区域，要么分割不同区域的血管。据作者所知，Dr-SAM是第一个用于血管造影图像分析的端到端 Pipeline ，包括专门针对周围血管造影图像的血管分割阶段。作者在分割部分的贡献通过一种新颖的正点选择方法扩展了SAM的实用性，这种方法结合用户指定的边界框，指导SAM进行精细的血管分割。

Anomaly detection

一些先前的工作也触及了医学图像上的异常检测问题。为了检测异常，AngioNet[9]对血管进行分割，并计算每个分割段内的最小和最大直径。相比之下，作者的方法在每个分割段内识别极值点，并在这些极值点之间的区域指定异常。为了找到直径，作者使用了骨架检测算法[2]，这是一种用于将图像内的目标细化或骨骼化为单一像素宽的骨架的工具。该算法迭代地从目标边缘移除像素，直到只剩下构成“骨架”的最小像素集，保持了原始目标的拓扑结构和一般形状。

在[14]中，作者利用冠状动脉CT血管造影（CCTA）提取冠状动脉特征，并使用卷积神经网络（CNN）评估狭窄的严重性，重点关注动脉几何形状对血流量和局部外观的影响，以准确评估狭窄。在[13]中，作者通过血管提取增强关键帧检测，并使用带有自注意力模块的CNN模型对狭窄进行分类，通过广泛的交叉验证和外部数据集评估来验证算法，强调使用 Heatmap 进行可视化。这些方法展示了在检测冠状动脉异常的技术中不断增长的复杂性和特异性，与作者对异常检测的极值点识别策略形成对比。

3 Method

在本节中，作者介绍了Dr-SAM，一种用于血管异常检测的通用算法，该算法融合了零样本技术进行血管提取，然后结合拓扑骨架进行异常检测。此外，在这里作者还介绍了作者收集的基准数据集，用于全面评估作者的方法和其他方法。

作者简化的异常检测方法不仅减少了计算成本，因为其流程无需训练过程，而且还确保了适用性，在血管造影图像上展示了其有效性。该框架的概览可以在图3中找到。

Vessel extraction using point-conditioned SAM

作者使用SAM [10]从X光图像中提取血管。为了增强结果，作者定制了SAM的提示，特别关注于_input points_。在作者的方法中，作者提出了一种新颖的算法，用于在分割过程中识别阳性点以馈送给SAM（见图3）。

值得注意的是，由于作者的实验，结合阴性点并不会显著影响分割结果，因此作者选择仅设计一个用于阳性点选择的特殊算法。对于初始点，作者通过以下步骤在边界框内选择最可能的血管点：

作者生成了一个概率图，用于每个像素是否为血管像素，通过假设X射线血管造影图像中较暗的点属于血管，给较低值的像素分配较高的概率。作者通过缩放并反转输入值到[0, 1]（255到0和0到1，即对于

x\in[0,255]

，

x\mapsto 1-x/255=\text{Probability}(x\text{是血管像素})

）来获得概率图。

排除概率低于预定义阈值的像素。
从剩余集合中采样100个随机点，以防止点在人口密集区域集中。
从采样集中选择在预定义半径

SelectionRadius

内具有最多相邻点的点作为阳性点。

在第二步，作者从距离第一步定义的第一点

ExcludeRadius

之外的区域内，选择概率最高的点，并具有

SecondPointSelectionRadius

的半径。

为了进一步增强结果，作者实现了一个可重复的算法来识别阳性点。简而言之，该算法通过使用前一段描述的可用点开始图像分割。分割后，为了选择下一个阳性点，算法避免考虑先前预测 Mask 上的点，并按照与前一段相同的方式从剩余图像中选择最可能的阳性点。在每次迭代中，算法使用从先前步骤收集的所有可用阳性点进行分割，从而确保每次迭代后结果的一致性。然而，为了最小化对先前分割良好结果的变化，作者在结果中重复这个过程三次，直到总共5个阳性点（包括最后一段中的2个点），用于最终的分割。

Anomaly detection using topological skeleton

在异常检测中，作者使用了拓扑骨架[2]，这是计算机视觉中X射线图像研究广泛采用的一种方法。拓扑骨架是识别或近似血管中心线的关键组成部分，有助于确定特定区域的血管直径。作者提出的算法使用了拓扑骨架，随后通过去除不必要的分支同时保持血管结构的完整性来进行修剪。

为此，作者的算法使用PlantCV[7]技术从拓扑骨架中提取分支。在分离出分支后，作者识别了低长度分支。作者的考虑是，长度小于

MinBranchLength

的分支不是血管的真实分支，是由于血管中的异常产生的。去除低长度分支后，作者得到了类似树结构的血管骨架，这有利于沿着血管段估计直径。

进一步地，作者利用提取的骨架段来检查血管段内的异常区域。将段近似的直径视为函数值，作者对每个段进行异常检测。作者的主要考虑是，异常点构成了实际函数极值点的一个子组。然而，挑战来自于噪声，它产生了序列中高低值的不准确。作者方法的主要贡献在于通过将一个区域内的接近值聚类在一起，从而减轻噪声，这有助于更准确地识别高低值。通过将

MinChangeThreshold

阈值应用于这些极值点值与周围点值的平均值之间的变化，作者在段内识别出异常点。具体细节见算法1。

在检测到异常点后，作者利用距离变换[18]技术来更好地估计异常点附近的直径。为此，对于每一点中心线，作者计算该点与图像中最近非血管点之间的距离，从而估计该特定位置中心线处血管的半径。在此之后，作者按以下方式估计异常的百分比：

图3：_Dr-SAM_概述：对于用户提供的每个边界框，作者首先使用作者的_point finder_算法确定五个阳性点。然后根据作者的阳性点通过SAM[10]进行血管提取。接下来，在异常检测阶段，作者从前一个阶段获得的二值 Mask 中提取中心线，通过找到其骨架，并使用该骨架估计血管直径，这些直径后来用于检测血管上的异常点。

从骨架中提取分支作为一个点数组。
计算异常点的距离变换。

dt_{p}=distanceTransform(segment[i])

(1)

length(segment)//5

的步长计算异常点前后点的距离变换。

dt_{e1}=distanceTransform(segment[i-step])

(2)

dt_{e2}=distanceTransform(segment[i+step])

(3)

为了得到异常的百分比：

change_{p}=\frac{abs(mean(dt_{e1},dt_{e2})-dt_{p})}{mean(dt_{e1},dt_{e2})}

(4)

最后，为了得到异常的类型，作者比较

mean(dt_{e1},dt_{e2})

和

dt_{p}

。如果前者大于后者，作者就有狭窄，作者的百分比变化将带有

号。否则，作者将有动脉瘤，百分比变化将带有

号。

算法1 异常检测算法

Benchmark Dataset

作者的数据集精心挑选了来自500次骨盆髂动脉血管造影检查的图像，这些检查是在2018年至2024年间在巴德奥伊诺豪森医院和明登JWK诊所的放射科进行的。这些检查的重点是肾动脉以下腹主动脉和骨盆动脉。使用Adobe Lightroom软件，仅裁剪了这些检查的相关区域，以隔离感兴趣的区域。这些图像中，450张分辨率为386x448像素，50张分辨率为819x950像素。数据集中包括至少有一个狭窄的170张图像和至少有一个动脉瘤的64张图像。在初步选择之后，使用Adobe Photoshop [1]为每张裁剪的图像创建了一个血管 Mask ，勾勒出动脉结构。此外，动脉区域内观察到的任何狭窄和扩张都被仔细标记。这个数据集是一个全面的汇编，为研究影响骨盆髂动脉的条件提供了重要的资源，展示了针对血管成像研究的方法。

4 Experiments

在本节中，作者首先讨论Dr-SAM的一些实现细节，然后对其分割和异常检测阶段（包括中心线检测、直径和异常估计）进行彻底分析。

Implementation details

实验是在一组多样化的血管造影图像上进行的，包括了各种结构和异常情况。作者使用了带有边界框和异常点的血管造影X光图像，这些图像由两位血管成像领域的专业医生进行了验证。在实验过程中，作者设置了以下参数：

SelectionRadius=75

，

SecondPointSelectionRadius=50

，

ExcludeRadius=100

，

MinBranchLength=40

，

MinChangeThreshold=50\%

。作者的代码使用PyTorch实现。分割部分平均耗时

0.66

秒，而异常检测部分平均耗时

0.65

秒。

Segmentation Analysis

在分割方面，作者的目标是针对两种成熟的技术评估作者的方法：第一种技术是在原始图像上应用Segment Anything Model（SAM），使用边界框作为提示，而无需任何增强或额外的提示。第二种技术是一种简单的阳性点选择方法，试图在每个图中找到具有最低值（即成为血管像素的最高概率）的像素。图4：三种不同分割方法的定性比较。从左到右：SAM，将最可能的血管像素简单地选为阳性点的方法，作者指定的原始图像上的边界框（归一化到[0,1]范围内的值），并将其作为阳性点提示。作者通过视觉和定量度量呈现分析。对于作者的定量指标，作者使用交并比（IoU）[8]来比较作者的预测与真实值。真实值来自每个框的二值 Mask ，由专家精心标注。

在表1中，作者呈现了在450张各种血管造影图像上由以下方法分割的平均交并比：1. 独立SAM；2. SAM与简单选为最可能为血管像素的最高概率点作为附加阳性点；3. SAM与通过作者的方法收集的附加阳性点。实验清楚地表明了作者的方法在分割血管造影图像中的优势。

作者还通过将作者的方法与上述提到的普通SAM和最高概率阳性点选择方法进行比较，进行了定性分析。图4清楚地展示了作者方法的优势，应用不同颜色以便于更直观的演示。

Anomaly detection

对于中心线估计，作者的目标是评估其相对于拓扑骨架的性能。如图6所示，骨架之间的区别被清晰地展示出来。作者提出的算法有效地消除了不属于血管结构的骨架上的额外分支（用红色圆圈标出）。

在图5中，作者展示了成功的中心线估计结果。这些结果清楚地表明中心线算法对异常的适应性，从而提高了直径估计的准确性。在成功检测到中心线后，距离变换方法在直径估计中取得了出色的结果，包括在具有挑战性的异常区域。最后，作者的异常检测算法在寻找段中的狭窄和动脉瘤部分方面表现出色，在指示异常程度方面给出了良好的结果。

5 Conclusion

在本论文中，作者提出了Dr-SAM，一种新颖的方法，用于端到端检测外周血管中的狭窄和动脉瘤。作者引入了一种定制版的针对Segment Anything Model（SAM）的正点检测方法，以捕获X射线血管造影图像中的血管，无需任何额外的训练。

通过一系列实验，作者证明了作者方法在血管提取和异常检测中的有效性。作者的方法在此特定任务上相较于现有的分割技术提供了显著的进步。

此外，作者引入了一个由高资质专家标注和标记的450张外周血管造影图像的基准数据集。作者计划将数据集和代码公开。

总之，作者的工作通过引入新的思想和工具，为未来研究扩展了医学图像处理的研究。针对朴素方法的局限性，作者的方法有望在血管异常检测研究中推进最先进的技术，为广泛的应用提供更有效和高效的解决方案。

参考

[1].Dr-SAM: An End-to-End Framework for Vascular Segmentation, DiameterEstimation,and Anomaly Detecti0Angiography lmages.

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2024-05-03，如有侵权请联系 cloudcommunity@tencent.com 删除

数据

本文分享自 arXiv每日学术速递微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度