这是专栏《图像分割应用》的第4篇文章，本专栏主要介绍图像分割在各个领域的应用、难点、技术要求等常见问题。
本文首发于 【集智书童】，白名单账号转载请自觉植入本公众号名片并注明来源，非白名单账号请先申请权限，违者必究。
医学影像行业，一直以数据和高成本标注而筑起非常高的领域壁垒,随着近期SAM和SegGPT等通用的CV大模型的提出，大模型和通用模型这把火也逐渐烧到的CV领域，特别是图像分割领域，各式通用医学图像分割模型也随之涌现。
医学图像和自然图像之间存在显著的差异，而且医学图像领域缺乏大规模的基准数据集，这是导致AI在医学领域进展缓慢的重要原因之一。通过构建大规模的基准数据集和可靠的基线模型，我们可以推动AI在医疗领域的快速发展，并加速医疗向更通用方向转变的进程。如果您对此话题感兴趣，欢迎加入群聊与我们一起探讨！（二维码见文末） 论文：https://arxiv.org/abs/2310.15161 开源代码：https://github.com/uni-medical/sam-med3d
在图像分割领域，MMSegmentation 是目前应用最广泛的开源算法库之一。自今年 v1.0 版本发布以来，MMSegmentation 在社区同学和核心开发者共同努力下，不断拓展到更多分割相关的视觉任务，包括遥感图像处理、医疗图像分割、深度估计和开放语义分割等。下面让我们逐一介绍这些新功能。
近年来，Mamba作为一种处理长距离依赖关系的计算模块，在医学图像分割领域取得了显著进展。而近期，来自浙江大学，魔芯科技，中科大等单位的研究人员将Mamba替换为xLSTM，提出 xLSTM-UNet(xLSTM-UNet can be an Effective 2D \& 3D Medical Image Segmentation Backbone with Vision-LSTM (ViL) better than its Mamba Counterpart)，通过引入扩展长短期记忆网络（xLSTM），在多个医学图像分割任务中表现出色，超越了基于Mamba的模型！
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
医学领域中，为了满足病情诊断、治疗方案制定等需求，常常需要对病人进行扫描，从而确定各内部器官的情况。深度学习方法出现以前，这个过程主要是由医生直接完成。
SAM 是一种在自然图像分割方面取得成功的模型，但在医学图像分割方面表现不佳。MedSAM 首次尝试将 SAM 的成功扩展到医学图像，并成为用于分割各种医学图像的通用工具。为了开发 MedSAM，首先需要一个大型医学图像数据集，其中包括来自 11 种不同模态的超过 20 万个 Mask。该数据集用于训练和微调 MedSAM 模型。最重要的是，提供了一种简单的微调方法，使 SAM 适应一般的医学图像分割。
做图像分割方向的朋友，一定都用过U-Net，或者做分割方向研究的朋友们，也许都有过魔改U-Net的经历。作为2015年MICCAI上发表的一篇论文，U-Net目前在谷歌学术的引用是11487次，几乎做分割的人人都会引用。
医学图像处理的对象是各种不同成像机理的医学影像，临床广泛使用的医学成像种类主要有X-射线成像 （X-CT）、核磁共振成像（MRI）、核医学成像（NMI）、超声波成像（UI）四类。在目前的影像医疗诊断中，主要是通过观察一组二维切片图象去发现病变体，这往往需要借助医生的经验来判定。利用计算机图像处理技术对二维切片图象进行分析和处理，实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示，可以辅助医生对病变体及其它感兴趣的区域进行定性甚至定量的分析，从而大大提高医疗诊断的准确性和可靠性；在医疗教学、手术规划、手术仿真及各种医学研究中也能起重要的辅助作用[1,2]。目前，医学图像处理主要集中表现在病变检测、图像分割、图像配准及图像融合四个方面。
近年来，CNN在医学图像分割领域取得了统治级的地位，nnUNet及其各种魔改版本几乎霸占了各大比赛的leaderboard，但大多医学图像分割任务一直因为标注数量太少而饱受诟病。目前大多研究集中于调整网络结构等方面（加各种attention，各种feature fusion），希望在有限的数据上拟合出更加性能强悍的模型，而较少的去利用未标注数据来训练更加鲁棒和泛化性更好的模型（在临床场景下海量的未标注原始数据被保留在数据中心中，医生没有时间和精力对其大规模标注，只有少量数据会被标注用于临床或算法研究）。如何缓解标注图像数量太少，未标注数量太多和有效利用未标注的原始数据等问题，已然成为了医学图像分割发展的主要矛盾。
医学图像分割的目标是从医学图像（如器官和病变）中识别特定的解剖结构，这是为提供可靠的体积和形状信息并协助许多临床应用（如疾病诊断和定量分析）提供基础和重要的一步。尽管基于深度学习的方法在医学图像分割任务上表现出色，但大多数这些方法都需要相对大量的优质标注数据进行训练，而获取大规模的仔细 Token 数据集是不切实际的，尤其是在医学成像领域，只有专家能够提供可靠和准确的分割标注。此外，常用的医学成像模式如CT和MRI是3D体积图像，这进一步增加了手动标注的工作量，与2D图像相比，专家需要逐层从体积切片进行分割。
的模型，使深度学习在三维医学图像分割领域民主化，与当前最先进（SOTA）模型相比。作者在三个广泛使用的Synapse、BRaTs和ACDC数据集上对SegFormer3D进行了基准测试，取得了具有竞争力的结果。 代码：https://github.com/OSUPCVLab/SegFormer3D.git。
医学图像处理的对象是各种不同成像机理的医学影像，临床广泛使用的医学成像种类主要有X-射线成像 （X-CT）、核磁共振成像（MRI）、核医学成像（NMI）和超声波成像（UI）四类。在目前的影像医疗诊断中，主要是通过观察一组二维切片图象去发现病变体，这往往需要借助医生的经验来判定。利用计算机图象处理技术对二维切片图象进行分析和处理，实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示，可以辅助医生对病变体及其它感兴趣的区域进行定性甚至 定量的分析，从而大大提高医疗诊断的准确性和可靠性；在医疗教学、手术规划、手术仿真及各种医学研究中也能起重要的辅助作用[1,2]。目前，医学图像处理主要集中表现在病变检测、图像分割、图像配准及图像融合四个方面。
生成预训练Transformer（Generative Pre-trained Transformer，GPT）系列模型的成功表明，如果在大规模数据上进行训练，大型语言模型在零样本和非可视域中的少量快照任务上的性能与最新技术相当。
这是专栏《图像分割应用》的第2篇文章，本专栏主要介绍图像分割在各个领域的应用、难点、技术要求等常见问题。
Along He, Tao Li, Juncheng Yan, Kai Wang, Huazhu Fu
自动化医学图像分割在提供有价值信息以预防、诊断、进展监测和预测各种疾病以及定量病理学评估中至关重要。目前，包括编码器、解码器和跳跃连接在内的U形深度神经网络在医学图像分割中应用最为广泛。尽管U形网络在许多医学图像分割任务中取得了最先进的表现，但仍然存在局限性。一个主要的局限性是编码器在有效提取和整合长距离和局部特征方面的能力。
Stacked fully convolutional networks with multi-channel learning: application to medical image segmentation
在这篇文章中，提出了 SDC-UDA，一种简单而有效的用于连续切片方向的跨模态医学图像分割的体积型 UDA 框架，它结合了切片内和切片间自注意力图像转换、不确定性约束的伪标签优化和体积型自训练。与以前的医学图像分割 UDA 方法不同之处在于它可以获得切片方向上的连续分割（这一点有点重要，因为往往临床上都是一个 3D 数据，而直接处理 3D 数据又需要很大的计算资源），从而确保更高的准确性和临床实践中的潜力。
使用即时学习方法展示了SAM对下游医学分割任务的泛化能力。结果显示，仅使用大约5个输入点就显著提高了分割精度。
上次盘点了2019年 目标检测比较亮眼的综述汇总，详见： 大盘点 | 2019年4篇目标检测算法最佳综述。很多 CVers在微信学术交流群反映：有没有图像分割的综述大盘点，有没有目标跟踪的综述大盘点，有没有...
这是专栏《图像分割应用》的第3篇文章，本专栏主要介绍图像分割在各个领域的应用、难点、技术要求等常见问题。
https://github.com/mrgloom/awesome-semantic-segmentation
1.PointLLM: Empowering Large Language Models to Understand Point Clouds
Github链接：https://github.com/yyyujintang/Awesome-Mamba-Papers/blob/main/README.md
传统的皮肤病灶分析主要方法是基于阈值、区域、融合与变形模型实现医疗图像分割，但是自从深度学习的图像分割方式出现以后，对比传统方式的医学图像分割算法，深度学习图像分割方法更加有效与稳定，本文作者提出了一个种新的深度学习医学图像分割模型，主要有以下三个方面的改进：
论文名称：Bi-Directional ConvLSTM U-Net with Densley Connected Convolutions
来源：知乎、极市平台、深度学习爱好者作者丨李慕清@知乎 https://zhuanlan.zhihu.com/p/104854615本文约5100字，建议阅读10分钟本文首先介绍一些经典的语义分割网络及其创新点，然后介绍网络结构设计在医学图像分割领域内的一些应用。 本文总结了利用CNNs进行图像语义分割时，针对网络结构的创新，这些创新点主要包括新神经架构的设计（不同深度、宽度、连接和拓扑结构）和新组件或层的设计。前者是利用已有的组件组装复杂的大型网络，后者是更偏向于设计底层组件。首先介绍一些经典的语义分割
图像分割（image segmentation）是计算机视觉领域最为经典的研究问题之一，至今仍受到学术界和工业界的高度重视。所谓图像分割指的是根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异性。目前，研究者们最为关注的研究方向主要有三个：
OpenCV （ Open Source Computer Vision Library ）是一个广泛应用于计算机视觉和图像处理领域的开源库。它提供了丰富的图像处理算法和工具，能够处理图像和视频数据，实现诸如特征提取、目标检测、图像分割等功能。本文将介绍 OpenCV 的概述和应用领域，并通过具体实例展示其强大的功能和广泛应用。
来源：极市平台本文共5400字，建议阅读15分钟在利用CNNs进行图像语义分割时，有一些针对网络结构的创新点，主要包括了新神经架构和新组件或层的设计。文章的后半部分则对医学图像分割领域中网络结构设计的应用进行了梳理。 本文总结了利用CNNs进行图像语义分割时，针对网络结构的创新，这些创新点主要包括新神经架构的设计（不同深度、宽度、连接和拓扑结构）和新组件或层的设计。前者是利用已有的组件组装复杂的大型网络，后者是更偏向于设计底层组件。首先介绍一些经典的语义分割网络及其创新点，然后介绍网络结构设计在医学图像分割
原标题 | Deep Learning for Image Segmentation: U-Net Architecture
论文地址： http://arxiv.org/pdf/2009.10549v2.pdf
最近一直在读医学图像的论文，于是我打算写一个系列的阅读笔记，语言比较精简。在上一篇阅读笔记（https://zhuanlan.zhihu.com/p/505483978）中，分析了医学图像分割的混合 Transformer 网络：UTNet，在这一篇笔记中介绍的网络与 UTNet 思路完全不同，追求的是比 U 型网络更轻量级，但准确率更高的设计。还是先给下论文地址（刚刚接收）：https://www.sciencedirect.com/science/article/abs/pii/S1746809422000891 。
很久之前读了这篇接收在 MICCAI 2021 上的文章，复现调试了代码之后还没有及时整理一篇阅读笔记。由于在 MICCAI 上，这篇文章同样没有大量的实验对比工作，但是提出的方法思路清晰易懂，值得借鉴。arXiv: https://arxiv.org/abs/2107.00781 。作为前置依赖，本篇阅读笔记首先介绍了 Transformer Architecture 和在医学图像分割上的应用；其次，分析了论文中提出的 UTNet 架构（主干 U-Net，混合 Transformer 等 module）；最后，看了下论文的实验结果。
医疗保健领域一直是深度学习技术取得巨大成功的领域之一。深度学习的强大模式识别和数据分析能力使其成为解决医学难题和改善患者护理的有力工具。本文将介绍深度学习在医疗保健领域的多个应用，包括图像识别、疾病预测和个性化治疗。
Tianle Chen, Zheda Mai, Ruiwen Li, Wei-lun Chao
Unet是一种被广泛应用于图像分割任务的卷积神经网络结构。它的独特之处在于其编码器-解码器结构和跳跃链接的设计。本文将对Unet进行详细解析，并讨论其在稳定扩散方面的应用。
深度学习技术的出现，特别是像U-Net [20]这样的卷积神经网络（CNNs），通过提高图像分割和分析等任务的准确性和效率，显著推动了该领域的发展。这在现代医疗中发挥着关键作用，帮助临床医生进行准确诊断、治疗规划以及疾病监测。
近日，由麻省理工学院（MIT）电子工程与计算机科学（ECCS）实验室多位博士所著的医学影像AI论文被CVPR 2019收录。
在之前的文章中我分享了Tensorflow的基本知识内容，接下来我将会分享如何利用Tensorflow将深度学习应用到医学图像上，今天我会分享深度学习在医学图像分割的实际案例。
分享一位52CV粉丝Ellis开发的基于PyTorch的专注于医学图像分割的开源库，其支持模型丰富，方便易用。其可算为torchio的一个实例，作者将其综合起来，包含众多经典算法，实用性比较强。
这个问题不是特别好准确回答，因为CV算法是一个非常大研究领域，包括目标检测，图像分割，图像生成，3D目标检测，三维图像重建，图像去雾，图像超分辨率等非常多的方向。你会这么问，我的感觉是你对其中哪个方向研究都不会很深，因为你是硕士研究生，我认为你一定要以毕业为主，因为这两年由于升学硕士和博士的人数在增加，毕业要求现在有所上升，然后我的建议是一定要和导师沟通，因为导师在你毕业流程中起了至关重要的作用，所以还是要跟导师保持紧密联系，由导师帮你确定详细方案。
在AI绘画领域中，UNet是一种常见的神经网络架构，广泛用于图像相关的任务，尤其是在图像分割领域中表现突出。UNet最初是为了解决医学图像分割问题而设计的，但其应用已经扩展到了多种图像处理任务。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
