VINS-Multi：一种稳健的异步多摄像头-IMU状态估计器

文章：VINS-Multi: A Robust Asynchronous Multi-camera-IMU State Estimator

作者：Luqi Wang, Yang Xu and Shaojie Shen

编辑：点云PCL

欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。

公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。文章未申请原创，侵权或转载联系微信cloudpoint9527。

摘要

状态估计是机器人应用中的一个关键基础模块，稳健性和性能至关重要。近年来，许多工作致力于通过引入多摄像头来改进最广泛采用的状态估计方法之一就是视觉惯性里程计（VIO），但这些努力主要针对同步摄像头系统。异步摄像头具有更简单的硬件配置和更高的弹性，却在很大程度上被忽视了。为填补这一空白，本文提出了VINS-Multi，一种用于异步摄像头的多摄像头-IMU状态估计器。该估计器包含并行前端、前端协调器和一个能够处理异步输入帧的后端优化模块。它通过动态特征数量分配和帧优先级协调策略有效地利用这些帧。提出的估计器被集成到一个定制的四旋翼平台中，并在多个现实且具有挑战性的场景中进行了测试，以验证其实用性。此外，还提供了综合基准测试结果，以展示所提估计器的稳健性和卓越性能。

主要贡献

本文提出的VINS-Multi，这是一个基于我们之前的工作开发的异步多摄像头-IMU状态估计器，主要贡献如下：

1. 设计了一种新的动态特征数量分配策略以及帧优先级协调策略，以高效处理异步帧输入。

2. 结合了并行前端和基于所提策略的前端协调器，以及一个滑动窗口优化模块，形成了一个鲁棒的多摄像头-IMU状态估计器，可以适应混合类型的多个异步摄像头。

3. 该估计器被集成到一个四旋翼平台中，并在现实且具有挑战性的场景中进行了广泛的实验，结果也得到了展示。

图1. VINS-Multi在空中通风管道检查场景中的部署。绿色线条表示估计的轨迹，白色箭头表示估计的里程计。地图是在飞行过程中构建的，颜色编码表示高度。

内容概述

整个系统架构如图2所示。图像（如果使用RGBD相机则附带深度信息）被发送到视觉前端，处理后的测量数据随后由前端协调器进行协调。协调器根据收集到的特征动态重新分配每个前端处理的特征数量，并根据优先级决定是否将测量数据转发到后端优化模块的滑动窗口。后端获取视觉和深度测量数据，以及来自原始IMU输入的预积分结果，经过优化后以30Hz和500Hz的频率输出相机和IMU的里程计数据。

图2. 提出的状态估计器的系统架构

前端：前端主要包括视觉前端和IMU前端。视觉前端执行标准流程，包括特征检测、跟踪和异常值排除，而每个前端线程处理一个独立的相机模块。提取的视觉和深度测量值首先发送到前端协调器，然后再进行后端优化。IMU前端执行预积分，并直接输出高速里程计。前端协调器具有两个主要功能。首先，它实现了动态的特征数分配，根据不同方向相机拍摄的场景动态调整每个相机图像中提取的最大特征数，以便有效利用计算资源。其次，它实现了帧优先级协调，根据相机之间的特征和时间间隔优先级，决定将哪些测量值转发到后端进行优化，以确保一致的特征跟踪质量并避免相机故障。

后端优化

图3. 滑动窗口的示意图，包含了用于优化的IMU数据和视觉（包括深度）数据

图4. 边缘化策略示意图

实验评估

实验设置 ：使用自定义的四旋翼飞行器平台进行所提状态估计器的评估，如图5所示。四旋翼飞行器配备了三个英特尔Realsense L515 RGBD摄像头，在特定实验中，顶部RGBD摄像头被替换为英特尔Realsense D435立体摄像头，以验证在混合类型摄像头上的性能

图 5. 实验中使用的四旋翼飞行器。该系统兼容单目、RGBD和立体摄像头模块的混合类型

图6. 在摄像头故障和恢复情景中，流程及轨迹结果与地面真值的比较

图7. 墙壁检查场景及所提方法使用三个摄像头和仅使用前置摄像头的轨迹结果与地面真值的比较，以及在墙壁检查情景中从前、顶和底部图像中提取的特征点的对比。

结果与分析：在故障和恢复情景中，四轴飞行器首先仅携带顶部和底部摄像头起飞。系统的鲁棒性通过一系列步骤进行测试，包括在飞行过程中用盖子覆盖顶部摄像头、移除盖子、拔掉顶部摄像头，最后再插入前置摄像头。如图6(d)所示，所提出的系统在摄像头故障时仍保持功能性，表现出可观的估计误差，并且恢复的前置摄像头可以成功加入估计，展示了优越的鲁棒性，这是采用单一摄像头无法实现的。墙壁检查情景中的轨迹结果及与单一前置摄像头的比较如图7(b)所示。当单一前置摄像头面对黑色墙壁起飞时，由于缺乏稳定的跟踪特征，我们可以观察到估计轨迹的明显漂移（见图7(c)），而采用多摄像头的所提方法能够使用顶部和底部摄像头稳定处理此情况（如图7(d)所示）。具有混合摄像头类型配置的飞行中动态特征分配消融的轨迹结果及比较如图8(a)所示。缺乏动态特征分配的方法在快速偏航运动时容易产生较大的漂移，特别是在特征较少的墙壁上浪费不必要的特征时（见图8(b)）。相反，所提出的方法通过其动态特征分配策略有效应对这种具有挑战性的情况，如图8(c)所示。在复杂的空中通风管道检查任务中，所提出的方法的功效和鲁棒性进一步得到证实。涉及故障和恢复、墙壁检查以及混合摄像头类型的场景的基准轨迹估计结果在表I中提供。通过对比表中的数据可以发现，所提出的方法在准确性方面优于单一摄像头方法，这说明采用多摄像头的优势。此外，所提出的方法在准确性方面也优于动态特征分配消融版本的性能，进一步证明了该策略的有效性。

总结

本文提出了一种针对异步摄像头模块的鲁棒的多摄像头-IMU状态估计器。该估计器包括并行的前端、前端协调器和后端优化模块。通过实施动态特征数量分配和帧优先级协调策略，它有效地利用输入帧。通过在各种具有挑战性的场景中进行实际飞行实验，验证了该估计器的优越鲁棒性和性能。