51. 瞬态成像 - 飞秒摄影

子弹穿过苹果, Harold Edgerton 1964

你看到的这张照片拍摄于1964年，是MIT的Harold Edgerton教授的杰作。

1964年，麻省理工学院教授哈罗德·埃杰顿(Harold Edgerton)制作了这张“穿越苹果的子弹”的照片。他的作品代表了一项史无前例的努力，即以极高的速度拍摄传统摄影技术无法捕捉到的瞬时事件。他发明了一种新的频闪闪光灯，这种闪光灯可以照射大约10微秒：这足够亮，足够短，足以有效地冻结和捕获瞬间发生的事件，例如子弹穿过苹果，一滴牛奶飞溅，或者蜂鸟拍打翅膀。

在上面这张照片中，子弹大约以每秒850米的速度打穿苹果，能捕捉到这样快的事件已经非常惊人了。我们不仅要问：还能再快一些吗？

人类的技术进步，真的就像是奥运精神一样：更高、更快、更强——我们今天要介绍的技术叫做飞秒摄影（Femto-Photography），能够捕捉在1.85皮秒（1皮秒 = 10−12秒）中发生的事件，它甚至能够捕捉到光的瞬间传输状态，在这么短的时间内，甚至连光都只能传输0.555毫米，真的是冻结了世界。

也许你现在还没有直观的概念，下面几个动图一定能让你印象深刻。

传统的摄影技术能拍摄的是这样的画面：

Harold Edgerton教授的超快速成像技术能将时间变慢1800倍进而拍到这样的画面：

而飞秒摄影，则可以将时间变慢15 000 000 000 倍，进而捕捉到光脉冲的传输：

下面是实际生成的视频，我们可以看到光从可乐瓶底进入，逐渐穿过瓶身，并在瓶内形成互反射的整个过程。

你一定会很好奇，这是怎么做到的呢？我之前的文章2. 从入射光到JPEG相片-数码相机内部的秘密讲了，相机的成像实际上是光子进入到传感器产生光电效应的结果。想象一下你真的拥有了一个曝光时间超短的传统相机，此时拍摄上面这个可乐瓶会看到什么呢？我想你已经想到了，你几乎什么有用的信息也捕捉不到，因为在这么短的时间内，进入到传感器的光子非常非常少，所以光电效应也很弱，你看到的是一张几乎全黑的照片。

为了捕捉到瞬时的状态，作者团队设计的系统如下面的动图所示：

激光发射器发出的光通过中继反射镜照射到目标上，与此同时也通过分光镜与传感器件形成同步。而这里最关键的器件是传感器前方的条纹通道。光子通过该通道的狭缝进入，照射光电阴极产生光电效应转换为电子。扫描电极在控制下可以使得电子的运动方向发生偏转，合适的控制可以使得不同时刻进入的电子偏转程度不同，从而打击到CCD传感器垂直方向的不同位置上。

这样，拍摄一次将得到一幅二维图像， x维代表水平方向位置，t维代表不同的时刻。

由于一次只能捕捉场景中的一条水平线，因此要拍摄整个场景，就需要通过在垂直方向扫描场景。作者设计的系统中，用旋转反射镜的方法来做到这一点，见下面视频所示：

最后就会得到整个场景的包括在x-t-y三个维度中的信息：

在这个立方体中从t轴上切片，就可以得到某一个瞬时的画面。

有了这个基本的拍摄系统，还需要解决几个关键问题，因为篇幅原因仅介绍其中两个

1. 1. 极短时间只有很少几个光子传感器，无法有效成效。如何拍摄才能获取有意义的图像
2. 2. 时间反转问题

我们一个个介绍这两个问题的解决方案。

问题1：有效成像

正如前面所述，极短时间内的光不足以在传感器上形成有效的图像，因此作者采用了一个75MHz的激光光源，每个场景水平行拍摄6秒种，在这6秒钟里包含了4.5*10^8次迭代，这个迭代激光光源都会点亮50fs( 1fs = 1e-15秒），所以每个迭代都是一次“光源发射光子，光子转换为电子，电子被偏转在CCD上成像”的过程。这样就可以在传感器上累积得到可见的信息，其基本的思想是所有的光脉冲在统计意义上都是一致的，所以可以通过对它们的成像结果积分来过滤掉噪声。

作者的实验中，水平分辨率是672，传感器上t轴是512个像素，每个像素代表时间是由在扫描电极上施加的电压所控制的，作者的系统可以达到0.3ps~5.07ps的分辨率。

问题2：时间反转

当用这套系统成像时，由于时间分辨率超高，我们会观察到很有趣现象。在下图中，光源发出的脉冲通过两个路径到达相机。一个经过路径d1-z1到达相机，另一个脉冲通过路径d2-z2到达相机。

由于在图中d2-z2比d1-z1更短，所以在相机看来光是从P2传播到P1的。但在真实世界中，由于d1比d2更短，所以是P1先被照亮，然后才是P2被照亮。这就是所谓的时间反转(Time Warping)。这里就同时出现了两个时间坐标系，一个是相机时间，一个是世界时间（有没有让你想起三维重建中的概念相机坐标与世界坐标？）

因此为了真实表现在世界时间坐标系中，光的传播方向，需要进行时间的纠正，得到事件在世界时间中的发生顺序，即所谓Time Unwarping。下面作者的小短片也说明了这一点：

好了，我们看看作者的更多视频吧:

西红柿场景

这个场景显示了一个西红柿和一个胶带卷，它们后面有一堵墙。当激光脉冲击中漫射器后，球面波前与地板和后壁(A，B)相交时的传播过程可以清楚地看到。胶带卷的内部在光源的视线之外，并且不直接照明。当从第一波散射的间接光到达它(C)时，它随后被照亮。阴影仅在对象被照亮后才可见。越不透明的胶带在光线通过后很快变暗，而西红柿继续发光的时间更长，这表明更强的次表面散射(D)。

Alien场景

一个玩具外星人被放置在镜子和墙壁前。由于玩具中的镜子、多重交叉反射和次表面散射，此场景中的灯光交互非常丰富。视频显示了镜子中的反射实际上是如何形成的：直射光首先到达玩具，但镜子仍然完全黑暗(E)；最终离开玩具的光线到达镜子，反射是动态形成的(F)。在玩具(G)中清楚地存在着次表面散射，同时也可以看到墙和镜子之间的多种直接和间接的相互作用(H)

Crystal场景

一组糖晶体被左侧的激光直接照射，充当多个透镜，在桌子上产生焦散(I)。桌子上折射的部分光线被反射回糖果上，在桌子上产生二次焦散(J)。此外，散射事件在晶体(K)内可见

总结

从1964年Harold Edgerton教授的超快速成像，到2013年的飞秒摄影，从捕捉850m/s的子弹，到捕获300000000m/s的光， 人类在瞬态摄影技术方面不断的进步，取得了巨大的成果。

了解了技术原理后，真是不禁让人佩服其中的巧思以及实验的精巧。由于捕捉到了光的传播的时间维度的信息，飞秒摄影显然也属于TOF(Time of Flight)技术中的一种。然而，飞秒摄影的整个系统是比较昂贵的，由于是逐行扫描拍摄，且每一行为了积分得到高SNR的图像，拍摄时间也非常长。为了拍摄一个场景得到(672x512x1000）的信息立方体，需要花2小时的时间。

那么有没有其他的TOF技术呢？我会在接下来的一系列文章中加以介绍，敬请期待。

参考

本文的参考资料如下：

1. CMU 2017 Fall Computational Photography Course 15-463, Lecture 24
2. Velten et al., “Femto-photography: capturing and visualizing the propagation of light,” SIGGRAPH 2013, CACM 2016.
3. 飞秒摄影官网：http://giga.cps.unizar.es/~ajarabo/pubs/femtoSIG2013/

我引用了其中的视频和辅助材料。

4. “子弹穿过苹果”的照片，直接下载自https://iphf.org/inductees/harold-edgerton/, 这个页面也对Harold Edgerton教授作了介绍