1.特征点检测与匹配

小飞侠xp

发布于 2019-01-02 10:15:14

1.9K0

发布于 2019-01-02 10:15:14

文章被收录于专栏：书山有路勤为径书山有路勤为径

三维模型重建的流程：三维点云获取——几何结构恢复——场景绘制三维点云获取： 1.激光雷达 2.微软Kinect 有效距离比较短 3.单目多视角：几乎很难实时 4.双目立体视觉

基于图像的三维模型重建： 1.输入图像 2.基于图像的点云生成 3.点云到模型的重建 4.纹理图像的创建与编辑 5.纹理模型

相关商业软件： Acute3D,Altizure,Agisoft PhotoScan

图像特征点应用： 1.相机标定 2.图像拼接 3.稠密重建 4.场景理解

图像特征点的检测方法：

人工设计检测算法
基于深度学习的方法
场景中的人工标记点

图像特征点的基本要求： 1.差异性——可检测特征点应该呈现出区别于非特征点的明显特征 2.重复性——可匹配对应同一三维点的特征点应该在不同视角中被重复检测到

特征检测子（Feature Detector）

Harris 角点检测
基于LoG的多尺度特征检测子//拉普拉斯的高斯
基于DoG的多尺度特征检测子//高斯差分的一种方法
快速特征点检测方法

特征点具有局部差异性

动机：特征点具有局部差异性

E(u,v) = \sum_{(x,y)}w(x,y){[I(x+u,y+v)-I(x,y)] }^2 \\ \approx \sum_{(x,y)}w(x,y){[I(x,y)+\frac{\partial{I}}{\partial{x}}(x,y)u+\frac{\partial{I}}{\partial{y}}(x,y)v-I(x,y)] }^2 \\= {\begin{bmatrix}u\\v \end{bmatrix}}^T {\begin{bmatrix}u\\v \end{bmatrix}}

图像梯度

\Delta I(x,y)= (\frac{\partial{I}}{\partial{x}}(x,y),\frac{\partial{I}}{\partial{y}}(x,y)

Harris矩阵

H = {\begin{bmatrix}\sum_{(x,y)}W(x,y){\frac{\partial{I}}{\partial{x}}(x,y)}^2 &\sum_{(x,y)}W(x,y){\frac{\partial{I}}{\partial{x}}(x,y)}){\frac{\partial{I}}{\partial{y}}(x,y)} \\\sum_{(x,y)}W(x,y){\frac{\partial{I}}{\partial{x}}(x,y)}){\frac{\partial{I}}{\partial{y}}(x,y)} & \sum_{(x,y)}W(x,y){\frac{\partial{I}}{\partial{x}}(x,y)}^2 \end{bmatrix}}

以每个点为中心取一个窗口，窗口大小为55或者77，如果这个点具有差异性，往周围任意方向移动，周围的环境变化都是会比较大的，如果满足这个特性，我们就认为这个特征点具有明显的局部差异性。在工事中，I表示像素，如果是彩色图像就是RGB,灰色图像就是灰度。(u,v)表示方向。然后对上式进行一阶泰勒展开。

Harris矩阵H的特征值分析：

SVD(H)=U \sum V，( \lambda _1, \lambda _2 ), \lambda _1 > \lambda_2

矩阵特征值反应了两个垂直方向的变化情况，一个事变化最快的方向，一个事变化最慢的方向

兴趣点位于光滑区域,不是特征点

，兴趣点位于边缘区域，

, 兴趣点位于角点区域所以检测特征的任务转化为计算Harris矩阵，判断特征值大小。在实际操作中，很少通过计算特征值来判断，因为计算特征值计算量比较大，取而代之的是Harris角点准则。

Harris角点准则

C = det(H)-ktrace(H)^2 = \lambda_1\lambda_2-k(\lambda_1+\lambda_2)^2,k=0.04

行列式值为特征值相乘，行列式的迹为特征值相加

K的值越小，检测子越敏感
只有当

和

同时取得最大值时，C才能取得较大值

避免了特征值分解，提高计策计算效率

非极大值抑制

在特征点附近，其他点的响应也比较大。所以选取局部响应最大值，避免重复检测

Harris 角点检测

算法流程

计算图像水平和垂直方向的梯度但是在计算梯度之前，需要对图像进行滤波，一般进行高斯平阀，避免出现变化剧烈的值
计算每个像素位置的Harris矩阵
每个角点的响应值
非极大值抑制

Harris角点检测一般用于快速检测，比如视频里面的跟踪

基于LoG的特征检测子

动机：Harris角点检测不具有尺度不变性 LoG算子：Lindeberg(1993)提出Laplacian of Gaussian (LoG)函数的极值点对应着特征点 Lindeberg(1993)提出Laplacian of Gaussian (LoG)函数的极值点对应着特征点尺度空间：对于一幅图像，用不同大小的滤波核进行滤波，一般用高斯滤波，得到一系列图像，这些图像就称之为尺度空间。然后把这些图像摞起来

L(x,y,\sigma_D) = I(x,y)*G(x,y,\sigma_D),\sigma_D \in\{ \sigma_0,k\sigma_0,k^2\sigma_0,...\}

尺度归一化LoG算子：

不同尺度下的LoG响应值不具有可比性
构建尺度空间，同时在位置空间和尺度空间寻找归一化LoG极值（极大值/极小值）点作为特征点

LoG特征检测算法流程

LoG特征检测效果好，但是计算量比较大。工程中也很少用。为了更好地利用LoG的性质，提出了一种近似的算法：基于DoG的特征检测子

LoG可以由DoG近似： Lowe(2004)提出LoG近似等价于相邻尺度的高斯差分(DoG) 高斯空间：

高斯差分(DoG)

D(x, y, \sigma) =(G(x, y,k\sigma)-G(x, y,k\sigma))*I(x,y) \\ =L(x, y, k\sigma) - L(x, y, \sigma)

尺度空间构建

上图为3个Octive,每个octive的尺寸都会减小一半。上图每个Octive中，左侧为高斯空间，相邻高斯空间做差得到DoG空间特征点检测为在三维空间上做一个极值的比较，(三维空间为图像的二维空间+尺度的空间)，必须需要两个方向有极值。在高斯差分，边界上的两层是无效的，只有中间的红色区域是有效的。在Octive, if 每阶有效差分数 S =3，则高斯空间层数为N = S+3

特征点位置确定: 在位置和尺度空间组成的三维空间中寻找极值点