RSE：“云眼”——Swin Transformer + UPerNet 实现跨传感器卫星云检测

近日，大气环境遥感团队在Remote Sensing of Environment上发表研究，推出了“云眼”——一种跨传感器卫星云掩膜模型。该模型融合了Swin Transformer自注意力机制在全局上下文建模方面的优势，以及UPerNet卷积神经面的能力，实现了对全球及局部云结构的高精度检测。STUPmask适用于可见光至热红外的多光谱遥感影像，可支持米级至千米级空间分辨率的多源极轨与静止轨道卫星数据。在复杂地表环境下，该模型对破碎云、薄云和半透明云表现出突出的识别能力，展现出优异的跨分辨率、跨传感器泛化性能，为全球遥感云识别以及气象与气候应用提供了可靠的技术支撑。点击文末“阅读原文”，查看研究全文。

研究背景

云是光学遥感观测中主要的干扰因素之一，其覆盖范围广、形态多变，严重影响地表与大气信息的获取效率与精度。随着地球观测进入多卫星协同与长期连续监测的新阶段，不同卫星、不同分辨率和不同轨道类型的遥感影像数量呈指数级增长，这对云检测方法的自动化程度、准确性及通用性提出了更高要求。长期以来，云检测方法多针对单一传感器或特定场景设计，算法对光谱配置、空间分辨率和地表类型高度敏感。当应用对象从一种卫星扩展到另一种卫星，或从区域尺度扩展到全球尺度时，往往需要重新设定参数或重新训练模型，迁移成本高且稳定性不足。这种迁移性不足已成为制约多源遥感数据融合应用及业务化运行的关键瓶颈。在此背景下，构建一种既具高精度，又能在不同卫星、不同分辨率及复杂地表条件下稳定运行的云检测方法，成为亟待解决的核心问题。本研究旨在提升模型的迁移性与泛化能力，探索融合全局上下文建模与多尺度特征表达的深度学习框架，为多源遥感影像提供统一、可靠的云检测解决方案。

研究方法

围绕多源遥感云检测迁移性不足这一科学问题，我们提出了一种新的端到端语义分割模型Swin Transformer + UPerNet（STUPmask）。该模型采用经典的编码器—解码器架构，在整体设计上兼顾全局信息建模能力与多尺度特征表达能力，旨在提升云检测在不同卫星和复杂场景下的稳定性与泛化性。在编码阶段，它采用Swin Transformer作为特征提取器。该结构通过窗口注意力与移位窗口机制，将自注意力计算限制在局部窗口内，同时通过窗口的周期性移动实现跨区域信息交互。这一设计在显著降低计算复杂度的同时，仍能有效捕捉遥感影像中的长距离空间依赖关系，特别适合处理尺度大、纹理复杂的高分辨率卫星影像，为云系整体结构和空间连续性的建模提供了有力支撑。

在解码阶段，模型引入UPerNet结构，通过金字塔池化模块与多层特征融合机制将编码器输出的不同层级特征进行整合。该设计既能保留高层语义信息，又能保留低层空间细节，使模型在复杂场景中既能准确识别大尺度云团，又能精细刻画薄云、破碎云及云边界等细微特征。通过Swin Transformer与UPerNet的协同作用，模型在全局感知与局部精度之间实现了良好平衡。

本研究采用Landsat 8与Sentinel-2数据联合训练的策略，但未对不同传感器数据进行空间分辨率重采样以相互适配。模型直接以各自原生分辨率数据作为输入，利用可见光至短波红外波段的表观反射率，通过深度特征学习自动适应分辨率差异，从而避免重采样可能引入的空间信息损失，有助于提升模型对多源数据的真实泛化能力。同时，研究采用大规模预训练 + 少量微调的训练策略，使模型在仅使用有限新数据的情况下即可快速适配不同卫星平台，为跨传感器云检测的高效应用提供了可靠技术保障。

图1.Swin Transformer + UPerNet卫星云识别框架

研究结果

高分辨率卫星云检测结果

我们首先利用多个独立云掩膜数据集（L8 SPARCS和S2 CESBIO）对模型在高分辨率卫星Landsat 8（30米）和Sentinel-2（10米）进行测试。我们模型检测出的云在空间分布上与参考云掩膜高度一致，覆盖海洋、内陆水体、陆水交界处及茂密植被区域，没有明显漏检。同时，模型能够准确识别碎云、薄云以及大面积稀薄云，在高反射率地表（如城市、高山冰雪区、裸地及永久雪冰覆盖区）也表现出色，仅少量云体未被检测到。定量评估显示，模型在两套验证数据集上的平均总体精度均达到94%，表现优异。

图2.高分辨率卫星（Landsat 8, 30m; Sentinel-2, 10m）云检测结果

此外，本研究沿用CMIX的评测流程，将我们模型与10个基线算法进行独立验证和比较。结果显示，模型在多个数据集上均表现优异：在S2 CEOBIO数据集上总体精度和平衡准确率分别为96%和94%；在S2 PixBox和L8 PixBox数据集上对薄云和半透明云的检测效果超过所有CMIX方法；在S2 CloudSEN12全球测试集上，平衡准确率达94%；我们模型也优于包括CloudS2Mask和UNetMobV2在内的所有深度学习模型。

图3.STUPmask与CMIX多算法云检测性能对比

超高分辨率卫星云检测结果

在超高分辨率遥感影像中，云的形态更加细碎，云边界更为复杂。本研究进一步将我们模型迁移至GaoFen-2 PMS（4 m）卫星影像进行验证。结果显示，模型能够在超高分辨率条件下清晰刻画云的精细结构，云边界连续且完整，对小尺度破碎云和薄云具有良好识别能力。在城市建筑、农田纹理及山地地形等复杂背景下，模型有效避免将高反射率的地物误判为云。定量评估表明，高分二号数据上的总体精度超过97%，云检测的完整度和准确度均保持在较高水平。尤其在人工标注存在不确定性的薄云区域，模型仍能稳定识别云的空间分布，体现出优异的泛化能力和鲁棒性。

图4.超高分辨率卫星（GaoFen-2 PMS, 4m）云检测结果

中等分辨率卫星云检测结果

为验证模型在大尺度、连续观测场景下的适用性，我们进一步将模型应用于中等分辨率太阳同步轨道卫星MODIS（1 km）和地球静止轨道卫星Himawari-8（2 km）。结果显示，模型能够在海洋、陆地及极地冰雪区域稳定识别大尺度云系，其云分布形态与官方云产品高度一致，但在破碎云和云边缘区域表现更为平滑、连贯。在亮地表和冰雪区域，我们模型明显减少了传统产品中常见的误判现象。定量评估表明，模型在MODIS和Himawari-8数据上的总体精度分别达到94%和96%，验证了其在中等分辨率、多时相连续观测数据中的实用性。尽管低分辨率影像难以表达细节结构，我们模型仍能生成稳定、保守的云掩膜，为气象和气候应用提供可靠支撑。

图5.中等分辨率卫星（MODIS, 1 km; Himawari-8, 2km）云检测结果

研究结论

本研究针对多源遥感云检测中普遍存在的迁移性不足问题，提出了一种融合Swin Transformer与UPerNet的端到端语义分割模型STUPmask，系统评估了其在不同空间分辨率、卫星平台及复杂地表条件下的适用性与稳定性。结果表明，该模型能够在超高分辨率、高分辨率及中等分辨率遥感影像中保持较高的云检测精度，展现出优异的跨传感器泛化能力与稳健性。

END

声明：欢迎转载、转发。气象学家公众号转载信息旨在传播交流，其内容由作者负责，不代表本号观点。文中部分图片来源于网络，如涉及内容、版权和其他问题，请联系小编处理。