开源 | CVPR2020 同时处理3D点云数据和2D图像数据的模型，通过输入多模态数据进行3D点云分割

论文地址：http://arxiv.org/pdf/1911.12676v2.pdf 代码：https://github.com/valeoai/xmuda.git 来源：法国国家信息与自动化研究所 论文名称：xMUDA: Cross-Modal UnsupervisedDomain Adaptation for 3D Semantic Segmentation 原文作者：Maximilian Jaritz

无监督领域自适应（Unsupervised Domain Adaptation，UDA）是解决模型在缺少标注数据集的新领域应用的关键技术。当前许多数据集是多模态的（多模态数据，不同传感器对同一事物的描述数据，比如说，相机、X光、红外线对同一个场景同一个目标照出的图片），但是大部分的UDA模型是单模态的。本文提出了一种名为xMUDA的交叉模型，主要探索怎样通过2D图像和3D点云的多模态数据学习3D语义分割模型。融合两种不同维度的数据是很有挑战的，并且很可能因为两种数据的空间偏移不同而受到影响。在xMUDA中，为防止较强的模型因为较弱模型的影响而出现预测错误，使用模式互相学习互相影响，并脱离目标分割。本文基于xMUDA模型，使用白天到晚上数据、不同国家的数据和不同的开放数据集进行了评估。在大量的测试中，相比过去表现SOTA的单模态模型，xMUDA模型获得了巨大的改进。

本文中提出的xMUDA，是一种自适应的跨模态无监督域自适应模型，通过彼此互相学习来改善在目标领域的效果。交叉模态学习通过KL散度来实现模式间的相互模仿。

跨模态学习可以在多种环境和任务中发挥作用，而不仅仅局限于UDA。

下面是论文具体框架结构以及实验结果：

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请联系删除。