FusionNet：基于稀疏雷达点云和RGB图像的深度图补全

原文链接：http://arxiv.org/abs/1902.05356v1

代码链接：https://github.com/wvangansbeke/Sparse-Depth-Completion

主要思想

本文提出了一种新的基于RGB图像的稀疏LiDAR点云深度图补全的方法。对于智能车辆和机器人来说，为了实现精确的深度预测，激光雷达的使用是必不可少的，许多应用程序依赖于对周围环境的感知，并使用深度提示进行推理和执行相关动作。一方面，单目图像进行深度预测无法生成较为精确的深度图；另一方面，立体视觉方法仍然明显优于基于激光雷达的方法。深度补全任务的目标是从映射到二维平面的稀疏和不规则点云生成密集的深度预测图。论文提出了一个新的框架，可以同时提取全局和局部信息，以生成合适的深度图。

简单的深度完成不需要深度网络，然而，为了充分利用目标信息，纠正稀疏输入中的错误，论文还提出了一种基于RGB图像导向的单目相机融合方法。这大大提高了准确性。此外，为了考虑每种模态深度预测的不确定性，还利用了confidence mask。这种融合方法表现优于最新水平，在KITTI depth completion benchmark上排名第一（论文发布时，现稍有变动）。

创新点

深度补全是从稀疏的点云预测密集的深度图。在许多计算机视觉应用中，精确的深度值至关重要。近年来，由于工业需求的原因，这项工作受到了重视。其它的计算机视觉任务，如三维目标检测和跟踪、二维或三维语义分割、SLAM可以利用这些精确的深度信息，从而在这些领域获得更好的精度。这项工作将集中在自动驾驶汽车上，同时使用稀疏的激光雷达和单目RGB图像。人们希望能够准确地检测和区分近距离和远距离的物体，激光雷达扫描周围产生点云，但扫描线数量有限，导致高稀疏性，具有64条扫描线的激光雷达是常见的，但是仍然很昂贵。由于上述的限制，深度图补全目前已成为一个非常活跃的研究领域。

主要有以下三点：

（1）将全局信息和局部信息相结合，以准确地完成和纠正稀疏输入，并使用单目RGB图像作为深度补全任务的导向。

（2）以无监督的方式学习全局和局部分支的confidence map，并用各自的confidence map对预测的深度图进行加权，这种后期融合方法是框架的一个基本部分。

（3）该方法在使用和不使用RGB图像的KITTI depth completion benchmark排名第一，此外，它不需要任何额外的数据或后处理。

网络结构

前期工作指出从独立的稀疏深度样本中完成稀疏数据补全是比较困难的，这证明了RGB图像作为导向的重要性。

整体网络结构如下图所示：

• 输入为RGB图像和3D点云投影图像2D（选择特定的轴）
• Global Network基于ERFNet，Local Branch基于stacked hourglass network
• 最终两个Confidence Weights经过Softmax Layer后和Global Depth prediction以及Local Depth prediction相乘，然后进行加权求和，输出最终的Depth Map。

实验结果

使用RGB和不使用RGB作为导向的实验对比结果如下，可以发现，本文的方法能够取得更小的误差~

上述内容，如有侵犯版权，请联系作者，会自行删文。