遥感、医学与更多领域前沿图像分割技术！MMSegmentation最新进展来啦

在图像分割领域，MMSegmentation 是目前应用最广泛的开源算法库之一。自今年 v1.0 版本发布以来，MMSegmentation 在社区同学和核心开发者共同努力下，不断拓展到更多分割相关的视觉任务，包括遥感图像处理、医疗图像分割、深度估计和开放语义分割等。下面让我们逐一介绍这些新功能。

https://github.com/open-mmlab/mmsegmentation

（文末点击阅读原文可直达，

觉得好用欢迎点亮小星星）

遥感图像处理

遥感图像分割是一种重要的计算机视觉任务，用于分析从卫星或航空摄影获取的遥感图像。这一过程涉及将一幅图像划分为多个区域或对象，以识别和分类地表特征，如城市区域、森林、农田和水体。它通常包括图像预处理、特征提取、应用分割算法（如阈值、聚类、深度学习方法）和后处理步骤。遥感图像分割在土地使用分类、环境监测、资源管理等多个领域发挥着关键作用。随着技术的进步，特别是深度学习的应用，这一领域的准确性和效率得到了显著提高。

MMSegmentation 通过集成 LEVIR-CD 数据集，用户现可针对遥感图像的变换检测任务进行应用开发和研究。除了 LEVIR-CD 数据集，热心的社区同学还在 MMSegmentation 的 projects 中支持了 GID 数据集，该数据集是一个利用高分二号 (GF-2) 卫星影像收集的大规模土地覆盖数据集，具有覆盖范围大、分布广、空间分辨率高等特点。

医学图像分割

医学图像分割是一项关键的计算机视觉任务，用于从医学成像技术（如X光、CT、MRI）获取的图像中识别和分割出不同的解剖结构和病理变化。这一过程对于诊断、治疗规划和疾病监测至关重要。它涉及将医学图像分割成有意义的区域，如器官、肿瘤或其他组织类型。这通常包括图像预处理、特征提取、应用分割算法（包括阈值方法、区域生长、模型基方法、机器学习和深度学习技术）及后处理。医学图像分割的挑战在于处理复杂的解剖结构、不同的成像模式、以及图像中的噪声和伪影。随着深度学习等先进技术的发展，医学图像分割的精确性和效率正在不断提升，对医疗保健领域的贡献日益显著。

MMSegmentation 加入了众多医学图像数据集，覆盖了 CT、MRI 和病理切片等，为医学图像分割提供了强大支持。利用这些资源，用户可以更便捷地开展医学相关的语义分割实验。

除了新增了遥感和医学两个细分方向的数据集外，MMSegmentation 的算法库也得到了补充，加入了 DDRNet 和 Visuan Attention Network (VAN) 两种语义分割算法，为用户提供了更多可选的 benchmark。

深度估计

深度估计任务同样也是计算机视觉中的一个重要任务，旨在从一幅或多幅图像中推断场景中每个像素的距离信息。这种技术使得从平面图像（如照片或视频）中重建三维空间信息成为可能。深度估计广泛应用于自动驾驶、机器人导航、增强现实、3D 建模等领域。

对于深度估计任务，MMSegmentation 支持了最为常用的深度估计数据集 NYU，以及相应的针对深度估计任务的数据处理以及模型评测。在算法方面，我们支持了今年 ICCV2023 提出的 VPD 算法和经典的 AdaBins 算法，帮助用户进行最新的研究。

开放词汇集语义分割

开放域感知是目前视觉领域的研究热点之一。传统感知任务中，模型能力往往受限于训练数据中的样本类别。开放域感知突破了这一限制，让训练后的模型可以感知训练集之外的物体类别，甚至感知任意的语义概念，大大拓展了模型的能力边界和应用场景。其中开放词汇集语义分割是作为开放域感知的任务之一，用于识别和分割图像中的多种对象，不限于预先定义的类别集。它超越了传统语义分割的限制，能够处理未在训练数据中显式标注的对象。这项技术结合了深度学习和自然语言处理，使得算法能够理解和应用开放域的概念于图像分割。其挑战在于有效识别广泛的未知类别并将语义理解整合到视觉处理中。开放词汇集语义分割对自动图像理解、机器人视觉和智能视频监控等领域具有重要价值。

对于开放域感知任务，MMSegmentation 加入了开放词汇集语义分割算法 SAN（ICCV2023） 和 CAT-Seg（CVPR2023） 算法，助力开放域感知任务的发展。

实时语义分割

实时语义分割一直是学术界和工业界研究的重点，它要求在视频流中快速准确地对每一帧进行像素级别的分类。这项任务在自动驾驶汽车、机器人视觉和增强现实中尤其重要，因为它们需要快速响应环境变化。实时语义分割面临的挑战包括如何平衡分割精度与处理速度之间的关系，以及在资源受限的设备上维持性能。

对于这类轻量级模型，MMSegmentation 在 v1.2.1 版本支持了 PP-Mobileseg，并提供了完整的 ONNX 导出示例，方便用户快速应用我们提供的算法和模型。

以上，是 MMSegmentation 这一段时间的主要更新。在此，特别感谢社区小伙伴对我们的贡献。无论是遥感图像、医学图像还是通用图像的语义分割任务，MMSegmentation 都提供了丰富的功能和算法支持，MMSegmentation 致力于成为一个更加全面和先进的语义分割库，我们希望为研究人员和开发人员提供更多的选择和支持。

最后希望大家为我们 MMSegmentation 点个 star，有任何疑问欢迎在社区中提出。

https://github.com/open-mmlab/mmsegmentation