大家好!我是苏州程序大白,今天讲讲流体运动估计光流算法研究。请大家多多关注支持我。谢谢!!! 简介: 对流体图像序列进行运动分析一直是流体力学、医学和计算机视觉等领域的重要研究课题。 从图像对中提取的密集精确的速度矢量场能够为许多领域提供有价值的信息,基于光流法的流体运动估计技术因其独特的优势成为一个有前途的方向。 光流法可以获得具有较高分辨率的密集速度矢量场,在小尺度精细结构的测量上有所改进,弥补了基于相关分析法的粒子图像测速技术的不足。 此外,光流方法还可以方便的引入各种物理约束,获得较为符合流体运动特性的运动估计结果。 为了全面反映基于光流法的流体运动估计算法的研究进展,本文在广泛调研相关文献的基础上,对国内外具有代表性的论文进行了系统阐述。 首先介绍了光流法的基本原理,然后将现有算法按照要解决的突出问题进行分类:结合流体力学知识的能量最小化函数,提高对光照变化的鲁棒性,大位移估计和消除异常值。 对每类方法,从问题解决过程的角度予以介绍,分析了各类突出问题中现有算法的特点和局限性。 最后,总结分析了流体运动估计技术当前面临的问题和挑战,并对未来基于光流法的运动估计算法的研究方向和研究重点进行了展望。 定义: 流体运动估计技术在日常生活的众多领域发挥着重要作用,对从流体图像序列中提取的速度场进行分析,有助于更深入地了解复杂的流体运动并提取有用的信息。粒子图像测速( particle image velocimetry,PIV)(Adrian,1991)是一种广泛使用的流体运动估计技术。 其基于两个连续粒子图像之间局部空间性,通过搜索图像对的两个查询窗口之间互相关的最大值,获得查询窗口之间的位移矢量。 这种依赖于互相关函数的PIV 技术虽然能够简单有效地从图像序列间获取速度矢量场,但仍存在许多不足。 首先,其假设查询窗口内的位移矢量保持一致,这使得获取的速度场空间分辨率低,无法测量流场中的小尺度精细结构。 其次,PIV 技术主要用于粒子图像,无法可靠获取标量图像的速度矢量场。 最后,PIV技术缺乏物理解释,对图像序列进行运动估计时,平等地对待各种性质的运动物体。研究发现光流法非常适合流体运动估计( Li等,2015)。 与基于互相关的 PIV 技术相比,光流法可以获取更加密集的速度场,而且可以对标量图像进行运动估计而不仅限于粒子图像。 此外,与 PI技术相比,光流法更能适应各种物理约束。 基于光流法的流体运动技术是对 PIV 技术的良好补充。虽然现有的基于光流法的流体运动估计技术已经广泛用于各种流体测速场景,但仍存在计算耗时鲁棒性不足等问题。 本文从光流法的基本原理入手,根据光流法需要解决的几个关键问题对现有的算法进行分类,并对每一类方法从问题解决的角度予以介绍。
光流本质上是 3 维场景的物体运动投影到 2 维图像平面表现的像素点亮度变化。 光流计算即从图像数据中估计物体的运动。 Horn 和 Schunck(1981)开创性地提出了经典的变分光流估计模型,该模型的目标函数是包含一个数据项和一个平滑项的能量函数的最小化。 数据项主要基于亮度守恒假设,即同一个像素点的亮度(灰度值)在相邻两帧图像内保持不变,即: I(x + dx,y + dy,t + dt) = I(x,y,t) (1) 式中, I(x,y,t) 表示 t 时刻坐标为 (x,y) 的像素点的亮度(灰度值)。 对式(1)左边进行泰勒展开并整理可得
假设坐标为 (x,y) 处的像素点的速度为 w(x,y) = (u,v)T。 将速度的定义公式![在这里插入图片描述](https://img-blog.csdnimg.cn/20210430152733104.png
和
,代入式(2),可得
单独使用式(3)估算速度的两个未知分量,即 u和 v ,不能获得唯一解,这称为光流计算的孔径问题(aperture problem),如图 1 ( Heitz 等,2010 ) 所示。为解决该问题,通常采用附加的平滑项 Eregu (u,v) ,执行流场的空间平滑度一致性,具体为:
式中,Δ表示梯度算子。 结合式(3)和式(4)可以获得经典变分光流法的能量最小化函数 E(u,v) ,具 体为:
式中, λ 是参数,用于调节平滑项所占的比重。
光流法最初是在计算机视觉领域提出的,主要用于从图像序列中估计明显的刚性运动,由于其能够从图像对中获取密集的速度矢量场,成为实验流体力学、医学和气象学等领域的研究热点,广泛用于各种流体运动场景。
自经典光流模型提出以来,不断进行研究和改进,以提升算法的精度、鲁棒性和时空分辨率等性能,更好地对流体图像序列进行运动估计。 本文按照光流法需要解决的几个关键问题,将现有算法分为结合流体力学知识的能量最小化函数、提高对光照变化的鲁棒性、大位移估计和消除异常值等 4 类方法。
Wildes 等人(2000)和 Corpetti 等人(2002)尝试将经典光流模型应用于云运动估计,但是结果表明该模型不能准确地估计云的运动。 经典的光流模型主要适用于估计各种自然场景中的刚性运动,其依赖的亮度约束方程不是通过任何物理原理推导而来,缺乏物理解释,难以捕获具有复杂运动模式的流体运动。 为了克服该模型对流体图像序列的局限性,对其进行了改进和扩展。 通过引入基于质量和动量守恒定理推导的连续性方程,设计了一种专用于捕获流体运动的光流模型(Corpetti 等,2000,2002,2003,2006),采用连续性方程作为数据项,并利用二阶散度—旋度(div-curl)正则化替换经典模型中的一阶正则化。 基于物理的流动连续性方程能够将图像数据与流体流动行为联系起来。 一阶正则化用作平滑项会因过度平滑而导致估计的矢量场具有低散度和旋度,而二阶 div-curl正则化能够有效恢复流体运动的散度和旋度结构,更适用于复杂的流体运动估计。 但是由于涉及高阶微分,该算法实现起来比较困难,而且较高的阶数还会导致计算成本增加。 为解决该问题,在正则化项中添加了两个辅助变量 ξ 和 ζ,作为真实散度和旋度的近似值,以减少模型的高阶行为。 Liu 和 Shen(2008)根据 3 维物体空间中的传输方程或连续性方程在 2 维图像平面上的投影,推导出针对各种流体可视化的投影运动方程。 并将此投影运动方程作为光流约束,进一步给出了基于物理的光流方程,正式建立了光流与流体流动之间的数学联系。 需要指出,Corpetti 等人(2002)使用的 div-curl 正则化不是基于流体力学原理推导出来的;Liu 等人(2008) 采用投影到 2 维图像平面上的 navier-stokes 方程为光流计算提供了基于物理的约束,得到的非线性约束非常复杂。 Yang 和 Johnson(2017)利用 Liu 等人(2008)得到的基于物理的光流方程,提出一种散度补偿光流法,并成功应用于 X 射线图像的流场估计。上述方法求解的速度场都是基于像素尺度的,对于刚体和简单流体运动而言,在该尺度下求解造成的信息缺失可以忽略不计。 但是对于复杂的流体运动如湍流,其中存在的亚像素小尺度涡结构无法在像素点上得以体现。 Cassisa 等人(2011) 和 Zille等人(2014)引入大涡模拟的相关概念,提出一种亚网格传输方程模型( sub-grid transport equation) ,在亚像素尺度上考虑了湍流的小尺度速度分量,相比之前的光流模型,能够精确估计复杂的湍流运动,但是亚网格传输方程涉及的湍流扩散系数是根据经验选取的。 Chen 等人(2015) 在此基础上,应用物理空间亚网格模型系统地计算嵌入光流约束方程中的小尺 度 扩 散 项,得 到 了 改 善 的 估 计结果。从以上研究可知,将湍流模型与变分光流模型结合起来估计复杂的湍流运动是很有前景的研究方向,但是这些方法都高度依赖一个用于在数据模型中对选取的湍流模型进行加权的正则化参数,该参数没有直接的物理解释且在实际应用中很难确定。Cai 等人(2018)为采用不同策略的湍流运动估计,推导了一种新颖的基于位置不确定性的光流方程。首先根据 Mémin(2014)的推导,将流体运动的欧拉速度分解为一个大尺度分量和一个称为位置不确定性的小尺度湍流分量。 然后结合雷诺兹运输定理的随机表达式得出随机光流约束方程,该方程包含了小尺度分量的影响,涉及的参数都可以进行明确的估计而无需进行烦琐的调参。对流体速度场进行分解有助于理解复杂的流体运动。 Kohlberger 等人(2003)基于亥姆霍兹分解定理提供了一种对图像序列中的非刚性结构进行稠密运动估计的方法,将速度场分为一个无散度分量和一个无旋度分量之和,使用速度势和流函数对这两个分量进行明确表示,并将该表示应用于亮度恒定约束方程 ( brightness constancy constraint equation,BCCE)和二阶正则化项。 该方法可以直接估计速度势和流函数,利用这两个函数可以获得速度场的更多信息。 首先,计算它们的梯度,得到无散度分量和无旋度分量。 其次,对它们进行拉普拉斯运算,获得速度场的涡度和散度。 最后,它们的极值提供了感兴趣的奇异点的位置,例如源、汇和漩涡。利用 Kohlberger 等人(2003)提出的方法估计密集运动矢量,其解属于高维空间,但在跟踪等应用中需要提供低维解。 为了获得低维解,提出了一种基于矢量场的亥姆霍兹分解的低维流体运动估计方法(Cuzol 和 Mémin,2005;Cuzol 等,2007)。 在该方法中,无散度分量和无旋度分量采用离散化的涡度和散度图通过正则化狄拉克测度进行近似,同时采用引入连续性方程的数据项和二阶 div-curl 正则化的平滑项。 该方法在考虑较少数量的粒子时,可以实现更高的精度和更快的计算。 但是,如果大量增加速度向量的低维表示的粒子数量,将导致比其他密集运动估计方法更高的计算成本。考虑流场的时间相关性,有助于将准确帧的信息传播到后续帧。 Ruhnau 等人(2007)提出一种基于涡度传输方程的流体运动估计方法,使用前一帧的传输涡度场作为当前帧的约束,并考虑了流场间的时间相关性。 但信息只能沿一个方向传输,在某些情况下,当前一帧估计不准确时可能导致后续帧的估 计 结 果 更 差。 为 了 解 决 该 问 题, Zuo 和 Qi(2017)提出一种新颖的时空光学流模型,同时估计流体序列所有帧的速度场。 使用该模型可以将准确性估计从具有高对应性的帧传播到相邻帧。大多数光流法采用全局光流公式估计流场,这种使用全局能量函数约束的方法在流体速度场的不连续边缘上也会进行平滑操作,从而无法保留非均匀流场的空间不连续性。 Lu 等人(2019)提出一种基于场 分 割 的 变 分 光 流 方 法 ( field-segmentationbased variational optical flow,FS-VOF),用于保留非均匀流场的空间不连续特性。 该方法根据流体的速度分布对粒子图像进行分割,将不连续的流场划分为多个连续的速度场。 随后,根据速度在每个分割区域中连续变化并且在区域边界处保留速度场的不连续结构的假设建立平滑约束条件。 该方法使用的数据项是基于分割区域的,并且由基于物理的光流方程所推导。经典的光流方法不能很好地适应具有复杂流动的流体图像,因此使用考虑流体流动特性的物理约束对光流方法的目标函数进行改善,主要是对数据项和正则化项进行改进,以提高流体运动估计的精度。 针对流体运动估计的光流模型如表 1 所示,表中 Dt 表示湍流扩散系数, ϕ 表示速度势函数, ψ 表示流函数, Ψ1 、 Ψ2 、 γ 是比例系数。
光流法使用的变分公式仅限于小位移估计而无法捕捉大的运动"为了克服这个问题"很多研究者采用多分辨率金字塔方案来处理大位移"从而提高运动估计 的 精 度 并 降 低 计 算 的 复 杂 度