首页
学习
活动
专区
圈层
工具
发布
44 篇文章
1
[PyUserInput]模拟鼠标和键盘模拟
2
银行排队模拟(离散事件模拟)
3
Linux网络模拟
4
Linux TC(Traffic Control)作为损伤仪的基础配置和使用
5
深入学习Docker网络(看这篇就完全够了)
6
【鸿蒙 HarmonyOS】鸿蒙手机模拟器 ( 鸿蒙远程模拟器 | 鸿蒙远程模拟器运行手机应用 )
7
探索嵌入式应用框架(EAF)
8
多 OS 混合部署框架
9
嵌入式系统架构浅谈:编程设计模式 (一)---访问硬件的设计模式
10
事件驱动和消息驱动
11
原来 8 张图,就能学废 Reactor 和 Proactor
12
Linux df -h 命令hang住没有反应
13
kafka消费组信息采集异常(hang住)排查
14
ext4 io hung模拟脚本
15
解决 umount 命令卸载磁盘时busy/卡死的问题
16
程序卡死在void HardFault_Handler的解决办法
17
执行sed命令卡死CPU消耗100%一例分析
18
记一次因Redis使用不当导致应用卡死过程
19
字节对齐不慎引发的挂死问题
20
解引用NULL为什么会导致程序挂死?
21
记64位地址截断引发的挂死问题
22
websocket 在线工具_websocket添加请求头
23
【嵌入式Linux应用开发】SquareLine Studio与LVGL模拟器
24
详解Handler机制中消息队列的出队逻辑
25
Android UpdateEngine模块流程(含序列图)
26
物联网时代的嵌入式开发平台
27
400+条实用C/C++框架、库、工具整理 ,你能想到的都在这里了
28
ESP32芯片IO解读
29
M5Stack在ubuntu上进行开发编译
30
【抽象那些事】不完整的抽象&多方面抽象&未用的抽象&重复的抽象
31
H264,你不知道的小技巧
32
linux 创建虚拟块设备,制作文件系统并挂载,用于测试lustre
33
基于linux开发uvc摄像头_uvc协议扩展
34
清晰讲解LSB、MSB和大小端模式及网络字节序
35
在树莓派中使用 MicroPython 接入 MQTT
36
MicroPython 玩转硬件系列1:环境搭建
37
嵌入式系统架构浅谈:编程设计模式 (二)---嵌入并发和资源管理的设计模式
38
嵌入式软件架构设计之分层设计
39
IC之路(一)Proteus-Arduino仿真环境搭建
40
图像处理基础(六)-libjpeg常用算法
41
OpenCV双目标定
42
L-K光流推导及OpenCV代码实现
43
NDI Webcam Input工具,那些你不知道的知识!
44
使用QEMU chroot进行固件本地调试
清单首页其它文章详情

L-K光流推导及OpenCV代码实现

光流简单的来说就是通过摄像头的移动,在移动过程中,每一帧的图像特征点会发生移动,这个移动的过程中(x1,y1,z1)在我们下一帧的动作中,去找到原来的所有特征点的新坐标,而这个移动路径,就是所谓的,光流。

推导式

在移动的过程中,图像的像素坐标系的局部矢量局部图像流(速度)矢量

必须满足满足下面的条件 第一帧

其中q1,q2,q3,q4是窗口内的像素

是图像在当前时间位置相对于评估点的 x,y,z和时间t的偏导数

以此类推到达第n帧的时候

现在就不妨可以构造一个矩阵进行计算

系统中的数据未知量过大,因此呢,需要一种方法去解决这样的未知数数据。 L-K(Lucas-Kanade)方法通过最小二乘法得到期望的解值 方法如下

求解表达式

将矩阵代入这个式子中得出求解的表达式如下

其中矩阵

通常称为点p处图像的结构张量 这个矩阵表达式很长,下面附上Latex的代码

代码语言:javascript
复制
\begin{bmatrix}
V_x\\ 
V_y \\
V_z
\end{bmatrix}=\begin{bmatrix}
\sum _i I_x(q_i)^{2} &\sum _i I_x(q_i) I_y(q_i) &\sum _i I_x(q_i) I_z(q_i) \\ 
\sum _i I_x(q_i) I_y(q_i) &\sum _i I_y(q_i)^{2} &\sum _i I_y(q_i) I_z(q_i) \\
\sum _i I_x(q_i) I_z(q_i)& \sum _i I_y(q_i) I_z(q_i) &\sum _i I_z(q_i)^{2}
\end{bmatrix}\begin{bmatrix}
-\sum_i I_xI_t(q_i)\\ 
-\sum_i I_yI_t(q_i)\\ 
-\sum_i I_zI_t(q_i)
\end{bmatrix}

但是上面的算法中,会出现一个问题,就是图像中的所有数据都具有相同的权重,这样的话就会去计算图像边界上的东西,在实际的运行过程当中,要考虑的问题,是图像中间位置的像素点。

加权改进

下面用加权窗口方法对图像中央的一些点进行加权计算(最小二乘法的加权版本)

其中W是包含权重的n × n 对角矩阵 Wii=wi 被分配给像素方程qi 也就是说,它计算 代入矩阵得

权重wi 通常为qi和p的高斯分布的距离

高斯分布公式

代码语言:javascript
复制
f(x|\mu ,\sigma^{2} )=\frac{1}{\sqrt{2\pi \sigma^{2}}}e^{-\frac{(x-\mu^{2} )}{2\sigma^{2}}}

μ 是分布的平均值或期望值 (以及其中位数和模式 )。

是标准偏差

是方差

正态分布的最简单的情况称为标准正态分布 。 这是特殊情况 μ = 0

= 1 其余正太分布方法我会在后面的博客当中给出,暂时按照标准正态分布进行加权

最小二乘法隐式假定图像数据中的误差具有零均值的高斯分布。 如果有人希望窗口包含一定百分比的“ 异常值 ”(严重错误的数据值,不遵循“普通”高斯误差分布),可以使用统计分析来检测它们,并相应地减小它们的权重。 Lucas-Kanade方法本身只能用于图像流向量 V X , V ÿ 两个帧之间的距离足够小以保持光流的微分方程,通常小于像素间隔。 当流向量可能超过该限制时,例如在立体匹配或扭曲图像中,L-K方法仍然可以通过其他方式细化获得的粗略估计; 例如,通过推算为先前帧计算的流向量,或者通过在图像的缩小版本上运行Lucas-Kanade算法。其中最为常用的是特征匹配算法。

下面给出OpenCV的L-K光流计算法: LK.h

代码语言:javascript
复制
void cvCalcOpticalFlowPyrLK(
    const CvArr* imgA,//初始图像
    const CvArr* imgB,//最终图像
    CvArr* pyrA,
    CvArr* pyrB,//pyrA,B申请存放两幅图像金字塔的缓存
    CvPoint2D32f* featuresA,//存放的是用于寻找运动的点
    CvPoint2D32f* featuresB,//存放featuresA中点的新位置
    int count,//featuresA中点的数目
    CvSize winsize,//定义了计算局部连续运动的窗口尺寸
    int level,//用于设置构建的图像金字塔的栈的层数,若设置为0,则不使用金字塔
    char* status,//函数调用结束时,status中的每个元素被置1(对应点在第二幅图中发现)或者0(未发现)
    float* track_error,//为可选参数,表示被跟踪点的原始图像小区域与此点在第二幅图像的小区域间的差的数组
    CvTermCriteria criteria,//迭代终止条件
    int flags//标志位
);

LK.cpp

代码语言:javascript
复制
#include<opencv2/opencv.hpp>
#include<iostream>
using namespace std;
const int MAX_CORNERS = 500;

int main()
{
    IplImage *imgA = cvLoadImage("0.jpg", CV_LOAD_IMAGE_GRAYSCALE);
    IplImage *imgB = cvLoadImage("1.jpg", CV_LOAD_IMAGE_GRAYSCALE);

    CvSize img_sz = cvGetSize(imgA);
    int win_size = 10;
    IplImage *imgC = cvLoadImage("1.jpg", CV_LOAD_IMAGE_UNCHANGED);

    IplImage *eig_image = cvCreateImage(img_sz, IPL_DEPTH_32F,1);
    IplImage *tmp_image = cvCreateImage(img_sz, IPL_DEPTH_32F, 1);

    int corner_count = MAX_CORNERS;
    CvPoint2D32f *cornersA = new CvPoint2D32f[MAX_CORNERS];

    cvGoodFeaturesToTrack(
        imgA,
        eig_image,
        tmp_image,
        cornersA,
        &corner_count,
        0.01,
        5.0,
        0,
        3,
        0,
        0.04
        );

    cvFindCornerSubPix(
        imgA,
        cornersA,
        corner_count,
        cvSize(win_size, win_size),
        cvSize(-1, -1),
        cvTermCriteria(CV_TERMCRIT_ITER | CV_TERMCRIT_EPS, 20, 0.03)
    );

    char features_found[MAX_CORNERS];
    float features_errors[MAX_CORNERS];
    CvSize pyr_sz = cvSize(imgA->width + 8, imgB->height / 3);
    IplImage *pyrA = cvCreateImage(pyr_sz, IPL_DEPTH_32F, 1);
    IplImage *pyrB = cvCreateImage(pyr_sz, IPL_DEPTH_32F, 1);
    CvPoint2D32f *cornersB = new CvPoint2D32f[MAX_CORNERS];

    cvCalcOpticalFlowPyrLK(
        imgA,
        imgB,
        pyrA,
        pyrB,
        cornersA,
        cornersB,
        corner_count,
        cvSize(win_size, win_size),
        5,
        features_found,
        features_errors,
        cvTermCriteria(CV_TERMCRIT_ITER | CV_TERMCRIT_EPS, 20, 0.3),
        0
        );

    for (int i = 0; i < corner_count; ++i)
    {
        if (features_found[i] == 0 || features_errors[i] > 550)
        {
            cout << "Error is " << features_errors[i];
            continue;
        }

        CvPoint p0 = cvPoint(cvRound(cornersA[i].x), cvRound(cornersA[i].y));
        CvPoint p1 = cvPoint(cvRound(cornersB[i].x), cvRound(cornersB[i].y));
        cvLine(imgC, p0, p1, CV_RGB(255, 0, 0),2);
    }

    cvNamedWindow("ImageA", 0);
    cvNamedWindow("ImageB", 0);
    cvNamedWindow("LKpyr_OpticalFlow", 0);
    cvShowImage("ImageA", imgA);
    cvShowImage("ImageB", imgB);
    cvShowImage("LKpyr_OpticalFlow", imgC);
    cvWaitKey(0);
    return 0;
}

文尾

在大距离移动的时候需要采用图像金字塔的方法,对图像进行计算需要在多层图像缩放金字塔上求解,每一层的求解结果乘以2后加到下一层。

下一篇
举报
领券