固态激光雷达和相机系统的自动标定

文章：ACSC: Automatic Calibration for Non-repetitive Scanning Solid-State LiDAR and Camera Systems

作者：Jiahe Cui, Jianwei Niu, Zhenchao Ouyang , Yunxiang He and Dian Liu

编译：点云PCL

代码：https://github.com/HViktorTsoi/ACSC.git

文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。

摘要

近年来，固态激光雷达（SSL）的快速发展使得从环境中低成本、高效地获取三维点云成为可能，这激发了大量的研究和应用。然而，其扫描方向图的不均匀性和测距误差分布的不一致性给其标定任务带来了挑战。在本文中，我们提出了一种用于非重复扫描形式的固态激光雷达和相机系统的全自动标定方法。首先，提出了一种基于时空的几何特征精细化方法，从SSL点云中提取有效特征；然后，利用点的反射率分布估计标定板目标（打印棋盘）的三维角点。在此基础上，提出了一种基于目标的外参标定方法。在实际条件下对所提出的方法在不同类型的激光雷达和相机传感器组合上进行了评估，并获得了精度和鲁棒性校准结果。该代码开源：https://github.com/HViktorTsoi/ACSC.git.

图1：（a）顶部：使用ACSC解决的外参将积分点云重新投影到图像；（b） 底部：使用的标定板是打印的棋盘；位置如左图所示；传感器设置及其坐标系如右图所示

主要贡献

本文提出了一种用于SSL和相机系统的外参标定方法ACSC，首先设计了一个时域积分和点云特征精细化放啊，以尽可能多地提取扫描点云的有效信息，并提出了一种利用标定板目标反射强度分布的三维角点提取方法，基于光学图像中的三维角点和相应的二维角点，提出了一种基于目标的标定方法。我们还评估了在不同类型的SSL中提出的方法，例如Livox Mid-100/40和Horizon SSL，以及摄像头组合。本文的主要贡献总结如下：

• 提出了一种用于SSL和摄像头系统的基于目标的自动标定方法。
• 提出了一种基于时空几何特征提取和反射强度分布的非重复扫描点云数据的三维角点估计方法。
• 为了评估校准性能，进行了多个基于各种激光雷达和相机组合的真实实验，所提出的方法可以成功地解决各种类型激光雷达相机系统的外参标定问题。

主要内容

图2：非重复扫描SSL（左：前视图；右：侧视图）的集成（无特征优化）棋盘格点云。

对于SSL和相机的标定系统，外参标定的问题是估计两个传感器之间的相对旋转和平移，即求解外参数矩阵（E∈ SE3）分别基于从两个不同传感器的同一帧中提取的相应3D-2D角点，该方法以印刷棋盘为校准目标，然而棋盘格的挑战是如何从不稳定分布的点云中准确地提取角点，本文对具有代表性的Livox系列激光雷达进行了研究，图2显示了在扫描校准目标时获得的几种典型模式：

• 1）非重复扫描模式导致稀疏单帧测量。虽然点云可以通过多帧叠加进行加密，但也保留了异常值（图2（a）-（f））。
• 2） 距离测量在轴向（光束方向）上有很大差异。距离越近，抖动越严重（图2中的侧视图）。
• 3） 特殊的扫描模式还导致扫描线分布不均匀（图2（d）、（e）和（f））。
• 本文所提出的标定方法考虑了上述特征，因此可以准确地从SSL和摄像头中提取相应的特征。整个工作流程如图3所示。

图3：提出的标定方法：（a） SSL点云的特征细化和棋盘格内角点估计过程。输入{Q1，Q2，…，QT}是SSL的传入帧，Sc代表根据我们使用的校准目标的几何参数构建的标准模型，Cstd是从Sc生成的角点，L是用于优化3D角点位置的相似性度量函数；（b） 基于图像的二维角点估计；（c） 外部校准过程。

A.标定目标特征精细化

1）点云的时域积分：利用非重复扫描模式，在时域中集成连续扫描以加密点云，而不是直接使用单次扫描图2。通过这种方式，可以获得密集的棋盘格测量，其强度特征提供了与图像一样多的语义信息。然而，如果只是简单地叠加入射点云，则来自每个帧的噪声点也将累积，并最终导致模糊结果（如图2所示）；因此，我们首先对每个输入帧使用统计异常值去除，基于点的邻域密度分布，在时域中对无噪声点进行积分，详细过程如算法所示：

积分后，点的表面法线分布比单次扫描更连续，因此，首先部署基于法线差的分割，以提取可能包含棋盘的候选簇。然后，我们通过标准目标相似性度量L对聚类进行排序，以测量聚类与校准目标之间的差异，并且仅保留差异最小的聚类，作为定位棋盘测量（标记为Pc）。

2）特征精细化：为了获得无噪声、精确的棋盘测量，设计了一系列点云特征增强方法，整个过程如图4所示。

图4：特征精细化过程，从棋盘Pc的原始点云（从背景点分割）到无噪声测量Pc'

B.3D角点估计

文章引入了一种非线性优化方法，该方法受棋盘测量的全局反射分布的约束，用于估计角点，示意图如图5所示

图5：角点估计示意图，首先利用反射率分布求解从精细棋盘测量P到标准模型S的转换，然后用于将S的角点反向转换为原始棋盘。

关键的一步是设计相似性函数，该函数可以准确评估测量值P和标准模型S之间的位姿差异，我们发现，如图6所示，棋盘测量P的反射率和物理棋盘上的黑白图案基本上显示相同的空间分布

图6：棋盘格点云在不同距离下的反射率分布，黑色和白色条分别代表棋盘格中相应颜色网格的反射率。

C.外参标定

从图像中进行2D角点检测，对应于SSL中的集成点云帧数据，由于棋盘沿对角线方向对称，图像和点云中检测到的角点的顺序可能不明确，我们对检测到的角点重新排序，并从左下角对其进行索引，迭代外参求解，考虑到棋盘格测量的样本有限，对于得到的3D-2D角点，首先采用基于RANSCA的PnP来获得初始外参解E0；然后，去除重投影误差较大（基于E0计算）的角点，重复进行PnP求解和重投影评估过程，直到所有误差小于阈值，最后的外参矩阵表示为E。

实验

A.标定设置

在实际标定过程中，SSL和相机需要处于固定的相对位置，并且假设摄像头内参是已知的，通过对传感器视场内不同位置和方向的棋盘进行多次采样，采集相应的图像和多帧点云，然后计算外参，我们在多个有代表性的SSL和摄像头模型上评估了所提出的方法，传感器细节如表所示：

表一：用于评估该标定方法的传感器的详细模型和参数

B.重投影误差

可视化为了可视化标定结果，我们将点云（从室内和室外环境中收集）投影到图像平面上，并使用已求解的外参矩阵，如图7所示

图7：（a）标定结果的可视化，根据解出的外参矩阵，将点云投影到图像平面上；（b） 室外环境下图像上的投影点云（边缘增强）；（c） 使用标定结果从图像中投影像素，从而生成彩色点云

图8显示了不同激光雷达模型的归一化重投影误差，可以看出大多数重投影误差在0.6像素以内，这证明了所提出方法的准确性。

D.三维角点估计

提出的方法的性能与估计的棋盘格角点高度相关，因此，我们进一步讨论了角点估计的性能，图10示出了在角点估计期间成本函数L和重投影误差的分布

图10：成本函数L和重投影误差随优化变量i的分布

图11是分别从点云和图像中检测到的棋盘格角点的可视化结果，它还显示了从2D和3D空间估计的角点的一致性。

总结

本文提出了一种新的SSL摄像机系统外参标定方法，通过提出的时域积分和特征精细化方法，可以从模糊激光雷达测量中提取有效信息，基于标定目标点云的反射率分布，提出了一种棋盘格测量的三维角点估计方法，并结合从图像中提取的二维角点，利用该标定方法求解外参，整个方案流程是完全自动化的，只需要用户多次更改棋盘的位置，大量实验表明，我们的方法可以在真实环境中进行精确校准。

注：论文可在知识星球中下载：https://t.zsxq.com/I2JYfMz