首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >特征点法视觉里程计(2D-2D)

特征点法视觉里程计(2D-2D)

作者头像
小飞侠xp
发布2019-06-15 18:28:00
1.1K0
发布2019-06-15 18:28:00
举报
特征点提取与匹配

经典SLAM模型中以位姿-路标(Landmark)来描述SLAM过程

  • 路标是三维空间中固定不变的点,能够在特定位姿下观测到
  • 数量充足,以实现良好的定位
  • 较好的区分性,以实现数据关联

在视觉SLAM中,可以利用图像特征点作为SLAM中的路标

特征点:图像当中具有代表性的部分

  • 可重复性
  • 可区别性
  • 高效
  • 本地

特征点的信息:

  • 位置、大小、方向、评分——关键点
  • 特征点周围的图像信息——描述子(Descriptor)

例子:SIFT/SURF/ORB OpenCV features2d 模块

ORB特征
  • 关键点:Oriented FAST
  • 描述:BRIEF
FAST
  • 连续N个点的灰度有明显差异
Oriented FAST
  • 在FAST基础上计算旋转
BRIEF
  • BRIEF-128:在特征点附近的128次像素比较
  • ORB 旋转之后的BRIEF描述
  • BRIEF是一种二进制描述,需要用汉明距离度量
特征匹配
  • 通过描述子的差异判断哪些特征为同一个点
  • 暴力匹配:比较图1中每个特征和图2特征的距离(汉明距离)
  • 加速:快速最近邻居(FLANN)
特征匹配之后,得到特征点之间的对应关系
  • 如果只有两个单目图像,得到2D-2D的关系——对极几何
  • 如果匹配的是帧和地图,得到3D-2D的关系—— PnP
  • 如果匹配的是RGB-D,得到3D-3D的关系——ICP

2D-2D对极几何

  • P在两个图像的投影为
p_1 , p_2
p_1 , p_2
  • 两个相机之间的变换为
T_{12}
T_{12}
O_1p
O_1p

在第二个图像上投影为

e_2p_2
e_2p_2
l_2
l_2

称为极线,反之亦然

e_1,e_2
e_1,e_2

称为极点

  • 实践当中
p_1,P_2
p_1,P_2

通过特征匹配得到,P未知,

e_1,e_2
e_1,e_2

未知

T_{12}
T_{12}

待求

推理过程
  1. 世界坐标:
P = [X,Y,Z]^T
P = [X,Y,Z]^T
  1. 以第一个图为参考系,投影方程:
s_1p_1 =KP,s_2p_2=K(RP+t)
s_1p_1 =KP,s_2p_2=K(RP+t)
  1. 使用归一化坐标(去掉内参):
x_1 = K^{-1}p_1,x_2 = K^{-1}p_2
x_1 = K^{-1}p_1,x_2 = K^{-1}p_2
  1. 齐次关系:
x_2 = Rx_1+t
x_2 = Rx_1+t

5.两侧左乘:t^x_2 = t^Rx_1 6.再一步左乘:

x_2^T
x_2^T

t^

x_2
x_2

=

x_2^T
x_2^T

t^

Rx_1
Rx_1

7 . 对极约束

x_2^T
x_2^T

t^

Rx_1=0
Rx_1=0
八点法的讨论
  • 用于单目SLAM的初始化
  • 尺度不确定性:归一化t或特征点的平均深度
  • 纯旋转问题:t=0时无法求解
  • 对于八对点时:最小二乘
  • 有外点时:RANSAC
2D-2D对极几何小结
  • 2D-2D情况下,只知道图像坐标之间的对应关系
  • 当特征点在平面上时,(例如俯视或者仰视),使用H恢复R,t
  • 否则,使用E或F恢复R,t
  • t没有尺度
  • 求得R,t后:
  • 利用三角化计算特征点的3D位置(深度)
  • 实际中用于单目SLAM的初始化部分
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019.06.12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 特征点提取与匹配
  • ORB特征
    • FAST
      • Oriented FAST
        • BRIEF
        • 特征匹配
          • 特征匹配之后,得到特征点之间的对应关系
          • 2D-2D对极几何
            • 推理过程
              • 八点法的讨论
              • 2D-2D对极几何小结
          相关产品与服务
          图像处理
          图像处理基于腾讯云深度学习等人工智能技术,提供综合性的图像优化处理服务,包括图像质量评估、图像清晰度增强、图像智能裁剪等。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档