基于约束捆集调整的多相机运动结构恢复方法
文章：CONSTRAINED BUNDLE ADJUSTMENT FOR STRUCTURE FROM MOTION USING UNCALIBRATED MULTI-CAMERA SYSTEMS
作者：D. Huang , M. Elhashash , R. Qin
编辑：点云PCL
摘要
使用未标定的多摄像头系统进行运动结构恢复是一项具有挑战性的任务，本文提出了一种捆集调整解决方案，实现了基线约束，考虑到这些摄像头之间是静态的。我们假设这些摄像头安装在移动平台上，未标定并且粗略同步。为此提出了基线约束，该约束适用于摄像头具有重叠视野的情况。将该约束纳入捆集调整解决方案中，以保持不同摄像头的相对运动静态。使用两台放置在重叠内容捕获的车辆上的GoPro相机的视频帧进行了实验，而这两台相机未经校准。我们使用所提出的约束进行捆集调整，然后生成了3D稠密点云。通过将这些稠密点云与LiDAR参考数据进行比较，进行了评估。结果显示与传统的捆集调整相比，我们提出的方法实现了29.38％的改进。
主要贡献
本文提出了一种用于具有重叠视图的未标定摄像头的束调整（Bundle Adjustment，BA）解决方案，通过加入所谓的基线约束，在两个彼此静态的摄像头之间建立链接。我们进行了实验，比较了典型SfM方法单独实现的3D重建结果和同时由我们提出的方法实现的结果。作为一个附带研究，我们还确定了安装的摄像头不同朝向的3D重建结果。为此，我们的贡献有两个方面。
- 首先，我们提出了一个适用于捕获重叠内容的未标定摄像头的BA解决方案。我们使用LiDAR数据作为基准进行了所提出方法的定性和定量评估。
- 其次，分析了使用单目摄像头的视频帧进行SfM的准确性，其中摄像头对于相同的测试区域具有不同的视角。
内容概述
运动结构（Structure from Motion，SfM）是从一组2D图像中估计3D结构的过程，典型的SfM流程从图像中提取特征开始，这可以是传统方式，如SIFT、SURF和ORB，也可以使用学习特征。然后进行特征匹配，基于特征描述符找到图像之间的对应关系，并通过使用RANSAC方案的几何验证来移除异常值。在从筛选后的匹配点估计相机姿态后，可以通过三角测量计算点的深度。使用BA通过最小化重投影误差来细化3D点、相机姿态和相机参数。
多摄像头解决方案。与单摄像头系统相比，用于3D重建的多摄像头系统通过摄像头的扩展视野有效地增加了3D场景信息的范围。多摄像头方案主要用于自主车辆、航空器和移动机器人等3D应用中。在（Heng等，2015b）中引入的工作中，利用了多个立体摄像头和惯性测量单元（IMU）构成了多传感器系统。它提出了一种细化相机外参的BA，但需要预校准的立体摄像头。他们后来的工作（Heng等，2019）使用多个摄像头在城市环境中实现自动驾驶的定位和3D场景感知。然而仍然需要使用基准目标对多摄像头系统进行精确校准。另一项研究（Cavegn等，2018）在其移动地图应用中也应用了摄像头之间的相对定向约束，但相对定向也是预校准的。（Esquivel和Koch，2013）使用摄像头之间的刚性约束而没有重叠来进行校准，但实验是在小型室内数据集上进行的。最近的研究（Maset等，2021）调查了添加相对定向约束而无需预校准（Maset等，2020；Pierrot-Deseilligny等，2014；Schonberger和Frahm，2016）的多摄像头系统，并且显示添加的约束与传统BA相比提高了准确性。其他方法（Häne等，2017；Heng等，2015a）不需要基准目标进行校准，而是需要对区域进行调查以构建环境地图，然后进行校准这些方法仅适用于稠密的环境，如室内停车库。
本文考虑了以下未校准多摄像头系统的情况：该系统由两个摄像头组成，捕捉在时间𝑖（使得这两个摄像头成为图像对）具有重叠的图像，而在时间𝑖捕捉的图像在两个帧序列中都与相邻图像有重叠。通过假设这样的多摄像头系统，我们的方法在BA中构建了一个弱约束来固定这两个摄像头的相对定向。首先，我们的方法遵循典型的SfM流程，从图像中提取特征，并进行特征匹配以识别关键点/匹配点。我们使用SIFT作为特征提取器和描述子。使用随机kd树进行特征匹配，其中我们将树的数量设置为8，每个树的搜索次数设置为64。由于我们的数据是连续的视频帧，将每个图像与前向和后向方向上的20个相邻图像进行匹配，同时逐步估计每个摄像头的外部定向，通过BA最小化误差，其中实施了我们的基线约束，最后使用生成的稀疏重建结果，利用OpenMVS开源库生成稠密点云。
实验
进行了两个实验来评估：
1）在考虑不同的摄像头安装配置情况下的3D重建精度，
2）使用提出的BA中基线约束来提高具有重叠的两个未校准摄像头的3D重建精度。地面激光雷达点云被用作评估的参考。使用OpenMVS（Cernea，2020）为所有实验生成稠密点云。
数据集
我们使用两台GoPro Hero7 Black相机以30fps的分辨率2000×1500拍摄视频，这些相机被安装在车上，在校园环境中以平均时速25英里的速度在封闭环路轨迹上行驶。图1显示了实验中使用的相机安装配置的示意图。表1显示了每个实验的数据大小。
LiDAR数据，地面LiDAR数据是使用Velodyne VLP-16 LiDAR传感器收集的，并使用GNSS和IMU数据进行地理参考。垂直方向的平均精度在11厘米以内，水平方向的平均精度在4厘米以内，标准偏差在1-5厘米之间。该传感器安装在车辆上，车辆使用相同的轨迹进行LiDAR数据采集。图2显示了LiDAR数据的俯视图，表2显示了传感器的技术规格。
定性评估
实验一：图3显示了四种不同视角摄像机不同安装配置的稠密重建结果。
实验二：在这个实验中，我们评估了在具有重叠的未校准摄像机的重建结果中使用所提出的基线约束的效果。图4显示了使用传统BA的稠密重建结果与使用BA中基线约束的结果进行比较。使用COLMAP进行重建的结果也用于比较。
定量评估
定量评估通过使用开源软件CloudCompare测量稠密重建结果与参考地面LiDAR点云之间的平均绝对距离来完成。实验一：表3显示了四种不同视角摄像机不同安装配置的稠密重建精度统计数据。
实验二：在这个实验中评估了使用我们提出的基线约束的受限BA的结果与传统BA的结果。此外，我们还评估了使用COLMAP的结果，包括使用和不使用rig_bundle_adjuster。表4显示了稠密重建精度的统计数据，在使用我们提出的基线约束的BA中，平均绝对距离从2.028米降低到1.432米，改善了29.38%。标准偏差也从2.965米降低到2.105米，改善了29.00%。
总结
本文进行了两个实验，以评估使用不同的相机安装配置的3D重建的准确性，以及在两个未校准的相机有重叠的情况下，使用我们提出的基线约束在BA中的准确性改进。第一个实验显示不同的相机安装配置产生的结果在水平和垂直方向上都存在漂移，漂移程度与相机的观察角度相对应。与汽车行驶方向平行的观察角度的相机倾向于产生更多的水平漂移，而与汽车行驶方向垂直的观察角度的相机倾向于产生更多的垂直漂移。第二个实验表明，在BA中使用我们提出的基线约束有效地改善了两个具有重叠的相机重建结果中的漂移问题，基线约束限制了相机姿态不会偏离原始轨迹，并连接了开放轨迹的两个端点，相对于使用传统BA的结果。统计分析显示改进了29.38%，与定性评估一致。我们的方法还与COLMAP的rig_bundle_adjuster进行了比较，并展示了更准确和稳健的结果，改进率为74.24%，因为我们的方法不需要知道两个相机之间的精确相对定位。实验表明在BA中的稳健最小化框架能够通过利用两个相机之间的基线约束来减小误差，并提供准确的3D重建而无需知道它们之间的校准。
资源
自动驾驶及定位相关分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源）
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
腾讯云开发者
