65. 非视线成像 - 把墙角变为相机

我已经为你介绍了基于飞秒摄影、基于WIFI、以及基于角膜成像的非视线成像技术。这些技术都有一个淳朴的初衷，希望能够在视线成像无法触达的时候，能够观察到隐藏的场景，从而可以帮助行车安全、反恐防暴、消防救灾等等。

然而，不管是飞秒摄影，还是WIFI，都需要有专门的设备来发射信号，这些设备要么在特定场景容易收到干扰，要么就是特别昂贵。而角膜成像也仅仅在特殊情况下有用。那么，有没有一种可能，能够完全不用主动发射任何信号，通过被动观察可见场景，就能推断出隐藏场景的情况呢？

今天我就来介绍一种仅仅通过摄像机观察到的微弱图像变化，就能推断出隐藏场景中有没有人，有几个人，这些人大概有多远的技术——这就是所谓的“墙角相机”

【本文同步发表在我的微信公众号和知乎专栏“计算摄影学”，欢迎扫码关注，转载请注明作者和来源】

我们照例，先来看看美女视频，有请模特Sunny妹出场：

这个技术来自MIT，论文如下：

这里的领衔作者Katherine也是个大美女：

也许你现在还不知道她是谁，但如果告诉你，正是她带领的团队拍摄了第一张“黑洞”的照片，你就一定会哇哦了！

第1张黑洞照片

好了，不谈美女了(Doge)，我们来看看墙角相机技术背后的原理吧：

一. 基本原理

1.1 墙角相机的四大组成部分

让我们先来看看墙角相机有哪些组成部分。下图是整个墙角相机的示意图，我们看到了几个重要的组成部分：

• 相机
• 有倒角的墙面
• 相机能观察到的区域(对我们来说最重要的是红色扇形区域)
• 被墙挡住的隐藏场景

我们的目的就是要通过分析相机观察到的红色区域的信息，得出关于隐藏场景的重要信息，例如隐藏场景有没有人，有几个人，距离拐角有多远，等等。我想你已经通过文章一开始的视频展示中看到了墙角相机的威力。

作者在视频中展示了一个墙角相机系统，这里一个单反对着前方的地面

拐角另外一边是一个走廊，有光线从走廊外照射进来。我们可以观察到地面上的光线有轻微的渐变现象，这是因为墙角挡住了另外一个方向的光，但地面又是漫反射表面导致的。

当有人在被遮挡住的走廊上走动时，地面的光影会发生轻微的改变，作者就是想通过这种改变来对隐藏区域加以分析。

1.2 观测区域与光线的微小变化引起的图像变化

接着我们看看下面这个示意图，假设你站在下图中的p点四处张望，你将可以看到下图中浅棕色的部分，但无法直接观察到灰色的部分。此时射线op与墙面的夹角为theta度

如果你沿着p点所在的圆弧继续行走到达p1点，你将可以观察到更多的区域，如下图所示：

这说明什么呢？说明p点、p1点其实接受到了来自于被墙面遮挡住的一部分区域的信息！如果我们用一个相机观察p点和p1点的地面，是可以收获到一点点墙后的信息的。进一步讲，如果能够整合下图中红色扇形区域的地面反射信息，就能够获得被墙挡住的区域的信息——这真是个精妙的想法！

作者们的论文题图中也展示了这个思想，其中(a)图展示摄像头观察地面。在(b)图中，假设有一个第三方观察者沿着一个圆弧绕着墙角移动，就能随着移动观察到墙后面不同范围的场景。而(c)图则是摄像头观察到的扇形区域。当墙后面有人在运动时，对光线造成了遮挡，导致摄像头看到的画面会出现肉眼难以察觉的微小变化(图c），图(d)通过对图像内容增强展示了这种变化，而图e则是通过本文的方法重建出来的1D信号——它说明墙后有两个人在走动，且她们不断在改变相对墙面的角度。

我们可以通过下面的视频加深认知：

1.3 表达与求解隐藏区域信息

首先来看看作者论文中的定义：

1.4 作者的更多示例展示：

诚如你看到的，我们得到的x的各个元素描述了被墙遮挡的区域每个不同的角度的信号，这也是你从视频一开始看到的曲线图中能得到的信息。我们可以看看作者更多示例：

比较有趣的是，通过上述视频你可以看到，当只有1个人在隐藏区域走动时，我们看到了单条曲线。而如果有两个人走动时，我们会看到两条交织在一起的曲线。这里曲线纵向是时间轴，而横向则表示被人挡住的光线的入射角度。曲线的波形和视频中两位姑娘的走动方式也是吻合的。

在视频中，你可以看到不管是室内，还是室外，还是不同的天气情况下，作者得到的结果都挺不错的。不管我自己复现过程中发现，光照、地面材质、选取的拍摄设备、超参数的设置等的影响还是挺大的。像我开头展示的视频，就是反复选择了好几处拍摄地点后才挑选出来的。

二. 扩展：立体墙角相机

比较有趣的是，作者说一对墙角相机还能组合到一起，形成立体墙角相机

这里不同的地面阴影区域反映了不同的隐藏区域的信息。

如果将这些信息组合起来，就可以获取到隐藏区域人物的位置了

通过下面这个视频，你可以理解的更深入：

三. 总结

今天我为你介绍了一种非常有趣的非视线成像方案：墙角相机。这种方法不仅仅有趣，更关键是它是完全被动式的，不需要像WIFI、TOF这样的额外信号源，这就使得它在某些情况下非常有用。我没有去查询当前这个技术的进一步研究和应用，但我非常认可作者的观点：这个技术为汽车行人安全、搜救和公共安全开辟了潜在的应用领域。

虽然理论比较复杂，但实际计算过程却比较简单。作者还开源了自己的实现，你可以下载后自己测试自己拍摄的墙角视频，正如我所做的一样。再次感谢Katherine和她的研究团队！

再次感谢模特Sunny出镜！

四. 参考资料

1. CMU 2017 Fall Computational Photography Course 15-463, Lecture 26
2. 墙角相机项目官网：people.csail.mit.edu/kl 我引用了其中的：
   1. 论文
   2. 论文插图
   3. 使用其中代码验证了自己拍摄的视频
3. 前面的几篇NLOS文章：基于飞秒摄影、基于WIFI、以及基于角膜成像的非视线成像技术
4. Katherine L. Bouman的照片来自于：actitudfem.com/tecnolog