基于深度神经网络的「端到端」学习位移场的方法，用于粒子图像测速

编辑 | 萝卜皮

应用物理和工程中的许多问题都涉及从数据中学习物理位移场。粒子图像测速（PIV）是实验流体动力学中至关重要的一种方法，在汽车、航空航天和生物医学工程等众多领域均有应用。

德国亚琛工业大学的研究人员提出了一种基于深度神经网络的端到端学习位移场的方法，重点关注粒子图像测速的具体情况。

该研究以「Deep recurrent optical flow learning for particle image velocimetry data」为题，于 2021 年 7 月 20 日发布在《Nature Machine Intelligence》。

PIV 是实验流体力学中的一项关键技术，用于确定各种复杂工程问题中流场的速度分量。PIV 实验在其中发挥重要作用的当前研究主题包括：分析内燃机的内部气流，例如，优化效率或减少污染物排放；心室辅助装置中异常血流相关血栓形成风险的调查；以及减少飞机和汽车的湍流摩擦阻力，以满足未来民用和货物运输中的二氧化碳排放目标等等。

PIV实验及其分析的设置和一般工作流程。

粒子图像测速法是一种非侵入式光学方法，可将浮力粒子（示踪粒子）添加到流动中，其中它们采用周围流体的速度。流动被薄的高功率激光光片照亮以记录这些示踪粒子的运动。相机用于在短时间间隔 Δt 内记录粒子的两个图像，通常为微秒级。

给定来自 PIV 实验的数据，关键问题是确定潜在的位移场，即描述流动中局部位移的矢量场。标准 PIV 算法的工作原理是将输入图像细分为小的询问窗口，这些窗口随后在连续帧之间相互关联。通常，所得相关函数的最大值用作两个询问窗口之间局部位移的估计。最先进的算法还广泛涉及了其他元素，包括子像素插值、多重网格相关方案和自动异常值检测。

尽管这些经典方法为过去二十年设定了标准，但它们涉及需要手工优化方案的复杂算法。扩展这些工具功能所需的大量工作是 PIV 进一步开发的主要限制，尤其是在需要密集位移场的环境中。受当前经典 PIV 方法的这些局限性的启发，研究人员将深度光流学习的思想与 PIV 分析相结合。

展示了如何使用端到端神经网络方法有效地学习位移场。该方法基于最近用于光流学习的神经网络架构，称为循环全对场变换（RAFT）。与经典的手动方法相比，该方法是通用的、近乎自动化的，并且产生了研究许多应用中关键的更精细波动尺度所需的密集流量估计。

深度神经网络——包括卷积神经网络（CNN）——是计算机视觉中的关键工具，近年来已经提出了许多用于光流学习的神经网络方法。通常，这些方法通过定义输出为所需光流场的端到端网络来回避手动设计分析管道的问题。受深度光流学习成功的启发，已经提出了用于 PIV 处理的不同神经网络架构，这些架构已经开始在效率、精度和空间分辨率方面匹配甚至超过最先进的经典算法。

然而，动态流体流动的巨大多样性和粒子图像条件的可变性意味着 PIV 后处理方案需要对新的流动和光照条件具有高泛化能力，而这些因素继续构成挑战。受这些挑战的启发，研究人员研究了如何在 PIV 分析的背景下使用 RAFT。相对于经典方法和现有的光流学习器，实证结果表明在具有挑战性的基准和实验示例上有明显的改进。新方法为该领域进一步的自监督或无监督学习方法打开了大门，并且——类似于其他最近的神经光流估计器——允许高空间分辨率，因为它预测每像素位移。

RAFT-PIV的主要组件和粒子图像数据集的比较。

研究人员提出的 RAFT-PIV，是一种用于 PIV 应用中光流估计的深度神经网络架构。RAFT-PIV 在公共 PIV 数据库上实现了最先进的准确性，并且优于现有的基于监督和无监督学习的方法。迭代流更新使后续的流细化成为可能，这可能是 RAFT-PIV 最突出的方面。

循环更新算子，例如 Conv-GRU 或 ConvLSTM，进一步提高了 RAFT-PIV 的性能，这可能是由于门控激活有助于细化过程收敛。RAFT-PIV 在更具挑战性的流场和图像条件（例如低粒子密度和不断变化的光照条件）下也表现良好，这些条件对许多实际应用都很重要。对不同粒子图像条件的系统测试表明，RAFT-PIV 对不同的粒子大小具有稳健性，在 SNR > 2 时效果很好，并且在高粒子条件下表现最佳。以开箱即用的方式将 RAFT-PIV 应用于实验 PIV 数据展示了其泛化能力和显着提高空间分辨率的能力，同时匹配最先进的 PIV 算法。

使用深度学习方法进行 PIV 分析，为研究应用物理学和工程中广泛设置中遇到的较小流场波动的新方法打开了大门。RAFT-PIV 的有趣扩展包括无监督和自监督损失公式以及对立体视觉的扩展。此外，与物理信息神经网络的结合允许整合控制物理方程，是一个很有前途的新研究方向，可以同时估计各种物理量，例如速度、压力和剪切应力。另一个关键主题是原则性不确定性量化；一种方法是考虑对 RAFT-PIV 的贝叶斯扩展，这不仅可以访问点估计，还可以访问后验分布。

论文链接：https://www.nature.com/articles/s42256-021-00369-0#Sec1

人工智能 × [ 生物 神经科学 数学 物理 材料 ]

「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展。

欢迎关注标星，并点击右下角点赞和在看。

点击阅读原文，加入专业从业者社区，以获得更多交流合作机会及服务。