激光散斑成像新突破：SpecTrack实现高精度姿态追踪，精度提升200％

提高姿态估计精度

（映维网Nweon 2025年03月14日）由于精确姿态检测在确保准确定位信息方面的关键作用，所以AR/VR和机器人等领域越来越需要精确的姿态检测。然而，传统基于视觉的系统通常难以实现高精度，特别是在处理复杂环境或快速移动的物体时。

为了解决所述限制，伦敦大学学院，Adobe，英伟达团队研究了激光散斑成像Laser Speckle Imaging（LSI），通过这种新兴的光学追踪方法来提高姿态估计精度。

具体来说，团队提出的基于LSI追踪方法SpecTrack利用来自无镜头摄像头和具有编码孔径的反向反射标记的捕获来实现高精度的多轴旋转姿态估计。他们利用内部构建的测试平台进行了广泛的试验，并表明SpecTrack的精度为0.31°（std=0.43°），显着优于最先进的方法，将精度提高了200%。

当相干激光从光学粗糙的表面反射时，散斑图案出现为白点和黑点的随机混合，并且干涉被成像传感器捕获。团队提出的SpecTrack使用LSI来捕获多个轴的绝对旋转。

首先，他们实现了一个测试平台LSI系统，使用无透镜摄像头，多波长激光器和具有编码孔径的反向反射标记来追踪目标。与以往的研究结果一致，测试数据表明多波长激光产生了多个相同且重叠的散斑图案，如图1所示。

利用散斑图案，团队开发了一种学习方法以从无透镜摄像头捕获的散斑图像中估计跨多个轴的绝对旋转。

研究人员的目标是利用多波长激光产生的重叠图案，从一个编码的反向反射标记远程获得多个绝对旋转角度。如图2所示，来自光源的激光束击中任意一点，由于波长（𝜆0和𝜆1）不同，激光束衍射的角度略有不同。这种现象显示了表面旋转角度与捕获的散斑图像之间的相关性。

由于同时捕获所有六个自由度的样本在物理上十分困难，所以团队专注于捕获标记在z轴和y轴旋转时的散斑成像。他们在旋转平台添加受控闭环电机，当标记物在各个轴旋转时自动捕获散斑图像，如图4所示。

在数据收集期间，团队控制电机旋转标记从0◦到40◦的y轴和0◦到90◦的z轴。除了旋转外，同时在16𝑐𝑚至28𝑐𝑚的不同深度重复实验。

在训练期间，使用浅度神经网络（NN）来处理物理方面的非线性，并从散斑图案中估计绝对旋转角度，如图3所示。

首先，对捕获的单色散斑帧𝐼𝑠𝑝𝑒𝑐𝑘𝑙𝑒（640 × 360像素）进行预处理，使用快速傅里叶变换（FFT）将其转换为频域F（𝐼𝑠𝑝𝑒𝑐𝑘𝑙𝑒）。然后对帧进行中心裁剪并连接成形状为（5,320,180）的张量。

从实践经验来看，当标记处于运动状态时，这种连接帧张量提供了更稳健的结果，因为它包含了时间信息。之后，将样本馈送到三个卷积块中，每个块包括一个2D卷积层、批处理归一化、ReLU激活函数和最大池化。

卷积后，样本平面化并输入到包含6个线性层的多层感知器（MLP）中，每层后面是一个批处理归一化和ReLu激活函数。MLP的最后一层输出旋转角度（i.e.）、（i.e.）和任意深度（𝑑）。

他们利用内部构建的测试平台进行了广泛的试验，并表明SpecTrack的精度为0.31°（std=0.43°），显着优于最先进的方法，将精度提高了200%。同时，模型可以估计出z轴旋转的MAE为0.52◦（𝑠𝑡𝑑= 0.36◦），并且可以适应不同的深度，精度为0.15𝑐𝑚。

相关论文：SpecTrack: Learned Multi-Rotation Tracking via Speckle Imaging

https://paper.nweon.com/16231

对于未来，团队计划在现实环境中测试和优化系统，并考虑不同的照明、距离和物体运动，因为这对于在包括VR、AR和机器人在内的各种应用中成功运行至关重要。

更多信息请访问GitHub。