【全景语义分割】开源 | 性能SOTA！P2PDA超越无监督领域自适应和专门的全景分割方法，以及最先进的语义分割！

获取完整原文和代码，公众号回复：10090982806

论文地址： http://arxiv.org/pdf/2110.11062v1.pdf

代码： 公众号回复：10090982806

来源： Karlsruhe Institute of Technology

论文名称：Transfer beyond the Field of View Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation

原文作者：Jiaming Zhang

内容提要

自动驾驶汽车显然受益于传感器扩展的360度视场(FoV)，但现代语义分割方法严重依赖于注解训练数据，而全景图像很少能获得这些数据。我们从领域自适应的角度来看待这个问题，并将全景语义分割引入到一个场景中，其中标记的训练数据来源于传统针孔相机图像的不同分布。为了实现这一点，我们形式化了全景语义分割的无监督域自适应任务，并收集了DENSEPASS——一个新的跨域条件下的全景分割密集注释数据集，专门用于研究PINHOLEàPANORAMIC域移位，并伴有从Cityscapes获得的针孔相机训练示例。DENSEPASS覆盖带标签和未带标签的360度图像，带标签的数据包含19个类，这些类明确地符合源(即针孔)域的可用类别。由于数据驱动模型特别容易受到数据分布变化的影响，我们引入了P2PDA——一个通用框架用于PINHOLEàPANORAMIC的语义分割，利用注意增强的领域适应模块的不同变体解决领域分歧的挑战，实现输出空间、特征空间和特征置信度空间的传输。P2PDA通过使用注意头与不同的预测动态调节的置信度与不确定性感知相适应。当学习领域对应时，我们的框架促进了上下文的交换，同时明显提高了精度和效率聚焦模型的适应性能。综合实验证明，我们的框架明显优于无监督领域自适应和专门的全景分割方法，以及最先进的语义分割方法。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。