Kimera是C++实现的一个具有实时度量的语义SLAM系统，使用的传感器有相机与IMU惯导数据来构建环境语义标注的3D网格，Kimera支持ＲＯＳ运行在ＣＰＵ上的高效模块化的开源方案。 （1）Kimera-VIO前端，该获取立体图像和IMU数据，前端执行在线预先积分，从原始IMU数据中获得两个连续关键帧之间相对状态的简洁预积分测量值。 视觉前端检测Shi-Tomasi角点，使用Lukas-Kanade跟踪器跨帧跟踪它们，找到左右立体匹配，并执行几何验证。并输出特征轨迹和预先积分的IMU测量值。并发布基于IMU帧率的状态估计值。 （2）Kimera-VIO输出优化的状态估计，在每个关键帧处，将预积分的IMU和视觉测量值添加到构成VIO后端。 （3）位姿图优化Kimera-RPG，检测当前关键帧与过去关键帧之间闭环，闭环检测依赖于DBoW2库，使用词袋（bag-of-word）表示法来快速检测假定的闭环。
可以在两幅图像中的特征之间（2D-2D 匹配）、3D 地图中的一个点与其在图像帧上的投影之间（3D-2D 匹配）或两幅图像之间建立低级特征之间的对应关系。 首先，为每个图像计算查询图，其中顶点表示对象的类和质心，顶点之间的无向边表示满足接近要求。然后通过使用它们之间的欧几里德距离连接来自连续图像的顶点来创建所有图像的合并图。 彼此太近的顶点被合并以避免重复。第二步是为每个顶点生成随机游走描述符。也就是说，一个 n×m 矩阵包含 n 次随机游走中 m 个访问过的顶点的标签。第三，查询图将基于相似度得分与全局数据库图相匹配。 在不同的帧中，平面是基于三个量的加权和关联的：它们的法线之间的差异、它们之间的距离以及它们的投影之间的重叠。对于每个传入的单目帧，计算 ORB 描述符并使用词袋方法来检测循环。 然后将特征与数据库中的模型匹配的帧转换为公共姿势，相应语义特征的成本是检测到的特征的重投影误差，该误差由匹配的置信度加权.在 3D 情况下，当多次检测到一个对象时，语义边缘的成本函数包括将一个检测到的特征重新投影到另一个特征中
腾讯云图是一站式数据可视化展示平台，旨在帮助用户快速通过可视化图表展示大量数据，低门槛快速打造出专业大屏数据展示。新用户0.99元起，轻松搞定数据可视化
1.基本概念 ·共视图 Covisibility Graph： 共视图是一个加权无向图，图中每个节点是相机的位姿，如果两个位姿的关键帧拍摄到的相同关键点的数量达到一定值（论文设定为至少15个），则认为两个关键帧具有共视关系 具体来说，先从所有关键帧中选择与当前帧有相同特征点的关键帧集合，之后提取中每一个关键帧的共视帧的集合，之后利用两个集合的关键帧的信息进行相机位姿的跟踪 ·回环检测 回环检测共包含四个部分：选择候选帧、计算变换 每次插入关键帧时，都与完整地图的DboW数据库进行匹配。 检测：首先由重识别模块检测出当前关键帧Ka与匹配上的待吞并关键帧Ks，并获取两个子地图当中与匹配上的两个关键帧具有共视关系的关键点和关键帧。 2. 主要改进是，当当前关键帧与数据库的关键帧匹配上后，检测与当前关键帧具有共视关系的关键帧是否也能够匹配，如果可以则判定为重定位成功；否则才继续使用接下来的关键帧进行判定。 2.
假设相机内部参数和IMU-相机的外部参数被校准和给定，并且所有相机与IMU数据同步地捕捉图像，与摄像机时间同步。首先，将原始鱼眼图像变形为混合投影图像，并使用中点预积分传播来自IMU数据的运动。 然后，在混合投影图像中进行特征检测和IMU辅助的视内特征跟踪。将来自IMU的传播旋转输入到IMU辅助特征跟踪器，用于预测当前帧中的特征位置。随后是视点间立体特征匹配，以找出相机之间的特征对应。 同时，IMU测量值使用预积分方法进行传播。预积分计算前一帧图像的相对位姿变化及其在位姿协方差矩阵中的不确定性。 对两个测量值进行处理后，利用预积分的IMU运动提高特征跟踪性能，然后进行跨视图的立体特征匹配。 B. Optimization-Based Visual-Inertial Odometry 初始化完成后，使用IMU预积分更新当前帧位姿，然后根据研究超宽FOV设置中的重投影误差或单位光线切向误差剔除离群点特征
特征恢复 1、检测到回环时，通过BRIEF描述子匹配找到对应关系，建立局部滑动窗口与回环候选帧之间的连接。 2、直接描述子匹配可能会造成大量异常值，使用两步进行几何上的异常值剔除。 代码实现 pose_graph文件夹 keyframe.cpp/.h 构建关键帧类、描述子计算、匹配关键帧与回环帧。 pose_graph.cpp/.h 位姿图的建立与图优化、回环检测与闭环。 1、查询字典数据库，得到与每一帧的相似度评分ret 2、添加当前关键帧到字典数据库中 3、通过相似度评分判断是否存在回环候选帧 4、如果在先前检测到回环候选帧再判断：当前帧的索引值是否大于50，即系统开始的前 pt(0.f, 0.f); cv::Point2f pt_norm(0.f, 0.f);//对关键帧中每个特征点的描述子与回环帧的所有描述子匹配，如果能找到汉明距离小于80的最小值和索引即为该特征点的最佳匹配 1、将关键帧与回环帧进行BRIEF描述子匹配，并剔除匹配失败的点 2、如果能匹配的特征点能达到最小回环匹配个数，则用RANSAC PnP检测再去除误匹配的点， 3、将此关键帧和回环帧拼接起来，将对应的匹配点相连以绘制回环匹配图
它是一种3D 传感器，输出一组点云，每个都有一个(x，y，z)坐标。在3D数据上可以运行很多应用 —— 包括机器学习模型和神经网络。下面是一个输出示例。 ? 描述符（Descriptors ） 现在我们已经使用检测器找到了关键点(角和边) ，我们可以使用描述符来与匹配图像。 为此，我们查看给定关键点周围的块（patches）。 计算方向和大小，得到一个 HOG。 ? 4. 这给出了一个直方图，我们可以在帧之间进行比较。 ? 结果 这是检测器 / 描述符的结果——我们有关键点和方向。 ? 跟踪也是传感器融合过程的一个重要部分——可以是后期跟踪，也就是跟踪边框; 也可以是早期跟踪，即跟踪像素。 对于早期跟踪，我们使用检测器、描述符和匹配器的组合来执行帧到帧的关联。 检测器用于寻找关键点，描述符用于对关键点进行编码，匹配器用于判断帧之间是否相似。 讲完，就是这样！摄像头和激光雷达的传感器融合和跟踪需要这些步骤！
特征恢复 1、检测到回环时，通过BRIEF描述子匹配找到对应关系，建立局部滑动窗口与回环候选帧之间的连接。 2、直接描述子匹配可能会造成大量异常值，使用两步进行几何上的异常值剔除。 代码实现 pose_graph文件夹 keyframe.cpp/.h 构建关键帧类、描述子计算、匹配关键帧与回环帧。 pose_graph.cpp/.h 位姿图的建立与图优化、回环检测与闭环。 1、查询字典数据库，得到与每一帧的相似度评分ret 2、添加当前关键帧到字典数据库中 3、通过相似度评分判断是否存在回环候选帧 4、如果在先前检测到回环候选帧再判断：当前帧的索引值是否大于50，即系统开始的前 ); i++) { cv::Point2f pt(0.f, 0.f); cv::Point2f pt_norm(0.f, 0.f); //对关键帧中每个特征点的描述子与回环帧的所有描述子匹配 1、将关键帧与回环帧进行BRIEF描述子匹配，并剔除匹配失败的点 2、如果能匹配的特征点能达到最小回环匹配个数，则用RANSAC PnP检测再去除误匹配的点， 3、将此关键帧和回环帧拼接起来，将对应的匹配点相连以绘制回环匹配图
这两个单词一起作为贝叶斯过滤器的输入，贝叶斯过滤器估计两个图像之间的匹配概率，考虑到以前的情况下的匹配概率。与这些概率方法相比，我们依靠时间一致性检查来考虑以前的匹配，提高了检测的可靠性。 它们的几何检查包括计算匹配图像之间的空间变换。但是，他们不考虑与以前匹配的一致性，这导致他们需要把几何检查应用在多个几个闭环检测的候选对象。 D.几何一致性检测 我们在两个匹配的闭环候选帧用几何检测。这个检验是通过它至少12个对应点利用随机样本一致性(RANSAC)找到I_t和I_t'之间的一个基础矩阵。 每个图像的复杂度都是n^2 第二种技术是通过在k维(k-d)树中排列描述符向量来计算近似最近邻[7] 我们可以利用词袋加速特征匹配。因此，在向数据库添加图像时，我们在直接索引中存储节点和特征的列表。 我们只需要基本矩阵进行验证，但注意，在计算之后，我们可以提供与下面运行的任何SLAM算法匹配的图像之间的数据关联，而不需要额外的成本(有了F矩阵就可以解算RT了)。
该方法依赖于全卷积网络，该网络从场景的两个不同但临时的近距离帧接受特征激光雷达信息作为输入，并给出每个点的地面运动矢量的密集估计值，并假定它（每个点）属于一个动态车辆。 请注意，这些真值需要使用从帧t和t + n进行的激光雷达扫描以时间滑动窗口的方式进行计算，因此，根据时间步长n将获得不同的结果。该时间步长越大，运动矢量将越长，但是将很难获得车辆之间的匹配。 通过解决像[13]中提出的每个像素的分类问题，引入了关于场景的机动性的语义先验。为此，训练一个全卷积网络以获取激光雷达扫描帧，并将每个对应点分类为属于车辆或背景。这些预测的例子如图3b所示。 IV、实验 A、测试数据 为了从主要框架和借口任务中训练提出的深度神经网络，我们将n设置为1，以便测量两个连续帧之间的车辆运动。 我们的基本方法采用大小为64×448×4的张量作为输入，该张量堆叠来自时刻t和t +1的2D激光雷达投影帧。每个投影框都包含范围值和反射率测量值，如第III-A节开头所概述并在图2a中所示。
流程的第一步是检测视频帧中所有可能的停车位。显然，我们需要知道图像的哪些部分是停车位才能检测到哪些停车位是空的。 第二步是识别每帧视频中所有的汽车，这样我们可以跟踪每辆车在帧与帧之间的位移。 如果我们能够检测到静止的汽车，就不需要真的去检测停车位。 因此，如果我们能够检测到汽车并找出哪些汽车在视频的每帧之间没有移动，我们就可以推断停车位的位置。这就变得很容易了！ 假设在图像中有一个表示停车区域的边界框列表，那么检查被检测到的车辆是否在这些边界框中，就如同添加一行或两行代码一样简单。 ] [0. 0. 0.02332112 0.] ] 在这个二维数组中，每一行表示一个停车位的边界框。相应的，每列表示该停车位与被检测到的汽车有多少重叠。 这将防止仅仅在一帧视频上出现暂时性的物体检测问题而误导系统将停车位判定为空闲。但当我们看到至少有一个停车位在连续几帧视频图像中都被判定为空闲，我们就可以发送短信了！
其次，它的数据关联性更加复杂。静态SLAM只关心图像中的关键点，因此静态SLAM的数据关联只是关键帧特征向量的匹配。对于动态SLAM我们必须对帧中的关键点和对象之间执行数据关联。 并且框之间重叠区域中的特征点将被忽略。 对象-对象匹配：对象匹配通过关键点匹配间接完成。如果连续帧中的两个对象共享最多的特征点（且超过10个），则将它们作为同一对象进行跟踪。 此边缘化项捕获了观测结果，由于滑动窗口的宽度有限，这些结果将被删除。 运动误差：运动方程预测得到的位姿应该与从单个帧求解处的3D测量值一致。 从2D关键点到3D形状 数据关联 点-点匹配：基于描述符特征的关键点匹配，类似于ORB-SLAM。 对象-对象匹配：本文没有明确提及，但对象与对象之间的匹配是必须的，任何2D对象跟踪方法都可以使用。 点-对象匹配：未使用，通过检测每个帧中每个对象的语义关键点来间接完成。 对象感知以及BA ? 相机-对象姿态图和循环一致性 MoMoSLAM使用了不同的优化公式。
虹膜区域内的每个点通常会通过道格曼橡胶板模型映射为一对极坐标，激光雷达的点云同样也可以被映射为极坐标的表示。 右上是当IRIS检测到回环的时候的候选帧与匹配帧的点云极其对应的IRIS生成图。 滤波器从Lidar-IRIS图像中深入提取特征: LoG-Gabor滤波器可用于将Lidar-IRIS区域中的数据分解为以不同分辨率出现的分量，与传统的傅里叶变换相比，它的优势在于允许频率数据局部化，允许在相同位置和分辨率进行特征匹配 4.使用Lidar-IRIS的闭环检测 为了将Lidar-IRIS应用于闭环检测，为每个点云生成一个Lidar-IRIS的二值特征图。 因此，可以保存所有关键帧获取的Lidar-IRIS二进制特征的历史数据库。当前关键帧和每个历史关键帧的Lidar-IRIS二值特征贴图之间的距离由汉明距离计算。 从上往下，第一行代表的是完整的回环检测策略，第二行将回环检测问题转成一个Re-ID问题，整体的评判标准没有太大区别。
求跟踪器所有目标状态与本帧检测的Box的IOU，通过匈牙利算法（Hungarian Algorithm），得到IOU最大的唯一匹配（数据关联部分），在去掉匹配值小于IOU_threshold的匹配对； 并将状态更新值输出，作为本帧的跟踪Box。对于本帧中没有匹配到的目标重新初始化跟踪器，卡尔曼跟踪器联合了历史跟踪记录，调节历史Box与本帧Box的残差，更好地匹配跟踪id。 以上图为例，假设左边的四张图是我们在第N帧检测到的目标(U)，右边四张图是我们在第N+1帧检测到的目标(V)。红线连起来的图，是我们的算法认为是同一行人可能性较大的目标。 实际上匈牙利算法可以理解成“尽量多”的一种思路，比如说A检测器可以和a，c跟踪器完成匹配（与a匹配置信度更高），但是B检测器只能和a跟踪器完成匹配。 ，就是一个检测框id不停地进行更换，缺乏准确性与鲁棒性。
I2C 标准是一个具有冲突检测机制和仲裁机制的真正意义上的多主机总线，它能在多个主机同时请求控制总线时利用仲裁机制避免数据冲突并保护数据。 所以根据上述公式可以计算，对于5V的电源，每个上拉电阻阻值至少1.53kΩ，而对于3.3V的电源，每个电阻阻值至少967Ω。 如果觉得计算电阻值比较麻烦，也可以使用典型值 4.7kΩ。 3.3、数据传送 地址匹配一致后，总线上的主机根据 R/W 定义的方向一帧一帧的传送数据。 所有的地址帧后传送的数据都视为数据帧。 第1步：起始条件 主设备通过将SDA线从高电平切换到低电平，再将SCL线从高电平切换到低电平，来向每个连接的从机发送启动条件，如下图所示： 第2步：发送从设备地址 主设备向每个从机发送要与之通信的从机的 如果地址匹配，则从设备通过将SDA线拉低一位以表示返回一个ACK位。 如果来自主设备的地址与从机自身的地址不匹配，则从设备将SDA线拉高，表示返回一个NACK位。
DBoW2方法[5]则首次使用了BRIEF描述子[16]生成的二进制词袋和非常高效的FAST特征检测算法[17]与SURF和SIFT相比，FAST算法的运时间减小了至少一个数量级。 图中每个节点代表一个关键帧，如果两个关键帧都能同时观测到地图云点中至少15个点，则这两个关键帧之间用一条边线相连，我们用权重θ表示两个关键帧能共同观测到的云点数量 为了矫正闭环回路，我们像论文[6]那样做位姿图优化 SLAM系统增量式地构建一个数据库，该数据库中包含了一个反向指针，用于存储每个视觉词典里的视觉单词，关键帧可以通过这个数据库查询视觉词典，从而实现高效检索。 当一个关键帧通过筛选程序删除时，数据库也会相应更新。 由于关键帧之间可能会存在视图上的重叠，因此检索数据库时，可能返回的结果不止一个高分值的关键帧。 4.当前帧跟踪少于参考关键帧K_ref云点的90%。 与PTAM中用关键帧之间的距离作为判断标准不同，我们加入一个最小的视图变换，如条件4。条件1 确保一个好的重定位，条件3保证好的跟踪。
非矫正双目SLAM 几乎所有的SLAM系统都假设双目图像是已经被矫正的，这里的矫正是指，使用相同的焦距将两个图像转换为针孔投影，且像平面共面，同时与水平对极线对齐，从而可以通过查看图像中的同一行进行特征匹配 至关重要的是，时域连续性检测将使场景识别滞后至少3个关键帧，同时召回率较低，这都是目前存在的问题。 为了应对这个问题，本文提出一种新的场景识别（召回率得到改善）以及多地图数据关联算法。 若匹配的关键帧在active map中，则进行闭环；否则，则进行多地图间的数据关联，即将active map与匹配的map进行融合。 一旦这个新的关键帧与匹配地图间的相对位姿被计算出，就定义一个在局部窗口，这个局部窗口包括匹配的关键帧以及这个关键帧的共视关键帧。在这个局部窗口中，我们会寻找中期数据关联，以提高闭环以及地图融合的精度。 为了要删除重复的点， 关键帧主动搜索匹配 中的点。对于每个匹配点，都会删除 中的点，并保留 中的点，同时更新共视图以及本质图。
腾讯云数据库 Memcached是腾讯自主研发的极高性能、内存级、持久化、分布式 Key-Value 存储服务。适用于高速缓存的场景,为您提供主从热备、自动容灾切换、数据备份、故障迁移、实例监控全套服务,无需您关注以上服务的底层细节......
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
测试服务 WeTest
文件存储
命令行工具
SSL 证书
