机器视觉学会使用无线电波来穿透墙壁和黑暗

一种新算法，使用无线电波而不是可见光来探测人们在做什么，并且不暴露他们的长相。

机器视觉有着令人印象深刻的各种记录。它具有超强的识别人、面孔和物体的能力。它甚至可以识别许多不同类型的动作，尽管还不如人类。

但它的表现也有局限。当人、脸或物体部分被遮挡时，机器会识别起来就会很困难。当光线水平下降得太厉害时，它们就会像人类被蒙住双眼一样无法识别。

但是，电磁波谱的另一部分就不会受到这种限制。无线电波充斥着我们的世界，无论是黑夜还是白天。它们很容易穿过墙壁，并通过人体传播和反射。事实上，研究人员已经开发出各种利用Wi-Fi无线信号来观察门后情况的方法。

但是这些无线电视觉系统有一些缺点。它们的红外分辨率很低，图像嘈杂，充满了让人分心的反射，这使得很难理解发生了什么。

在这个意义上，无线电图像和可见光图像具有互补的优点和缺点。这就有了利用一方的优势来克服另一方的缺点的可能性。

麻省理工学院的李天红和他的同事们找到了一种方法，通过可见光图像训练无线电视觉系统来识别人们的动作。新的无线电视觉系统可以在可见光成像失败的情况下，在大范围内看到人们在做什么。李说，“我们引入了一个神经网络模型，它可以通过墙壁和遮挡来检测人类的行为，并且在光线不好的条件下也可以”。

这个团队的方法使用了一个巧妙的技巧。其基本思想是利用可见光和无线电波记录同一场景的视频图像。机器视觉系统已经能够从可见光图像中识别人类行为。下一步是将这些图像与同一场景的无线电图像联系起来。

但难点在于确保学习过程关注的是人体动作，而不是其他特征，比如背景。因此，李和同事引入了一个中间步骤，在这个步骤中，机器生成三维简笔画模型，重现场景中人们的动作。

“通过将输入转换成中间的基于骨架的表示，我们的模型可以从基于视觉和基于无线电频率的数据集中学习，并允许这两个任务互相帮助。”李在论文中表示。（文末有论文）

通过这种方式，系统学会在可见光下识别动作，然后利用无线电波识别在黑暗中或墙后发生的相同动作。研究人员说：“我们的研究表明，我们的模型在可视场景下达到了与基于视觉的动作识别系统相当的精度，但在人不可见的情况下仍然能够准确工作。”

这是一项很有趣的工作，有很大的潜力。最明显的应用是在可见光图像在弱光条件下和关起门后出现故障的场景中。

但也有其他的应用。可见光图像的一个问题是人们是可识别的，这就引发了隐私问题。

但是无线电系统没有面部识别的分辨率。识别行为而不识别人脸不会引起同样的隐私恐惧。“它可以将动作识别带到人们的家中，并将其整合到智能家居系统中，”李说。例如，它可以用于监控老年人的住宅，并在摔倒时提醒相关服务部门。而且这样做不会对隐私造成太大的风险。

这有效弥补了当今基于视觉系统的能力。

参考文献：

arxiv.org/abs/1909.09300 : Making the Invisible Visible: Action Recognition Through Walls and Occlusions