58. 压缩成像与光学超分辨率
上一次，我在文章 <压缩成像与使用压缩感知的高速摄影技术> 中介绍了压缩成像的基本原理，即将高速摄影时的信号采集表达为一个欠定问题，通过测量信号y和先验信息，恢复出原始信号x。这一次，我来讲讲这个技术如何应用到光学超分辨率这个领域中。
众所周知，大分辨率的常规传感器已经非常普及了。你现在去买个手机，没有千万像素都不好跟人打招呼?
然而，这种情况仅限于可见光传感器。在许多非可见光波段，传感器每像素的价格非常昂贵。这里显示了2015年几种非可见光波段的传感器的单像素价格。例如短波红外传感器(SWIR)，主要采用InGaAs（铟镓砷）材料，单像素约0.1美元，这样的话即便一个100万像素的SWIR传感器，也需要10万美元。这就根本不是普通人能够承受的了。
我们自然会想到上一次介绍的压缩感知技术——如果构建一个相机，采用极少像素的非可见光传感器，就能够恢复出高分辨率的原始场景信息，那么相机成本将大大下降。
于是，就有了图中这种激进的解决方案——单像素相机：Single Pixel Camera。这个系统中，场景的光线通过透镜汇聚，并在数字微镜面上反射，并最终在单个光电探测器上合并，再转换为数字信号。由于单次拍摄只能获取到一个测量值，为了能够恢复出场景的图像，需要不断随机改变数字微镜面形成的掩模，从而获取到多个不同时刻的测量值，再通过这一系列测量值，利用一些先验信息，恢复出场景的图像，这个重建的过程利用了典型的压缩成像重建技术。
这个想法来自2008年Duarte等发表的论文 <通过压缩采样的单像素成像>，单像素相机后续简称为SPC (Single Pixel Camera)
这是作者在论文中展示的原型设备。光线通过两次反射汇聚到光电二极管，并形成最后的信号。单次采集只能获取到一个测量值，但如果采集了多个测量值后，利用压缩传感技术，就能够恢复出原始信号。整个系统的分辨率实际上由数字微镜阵列的分辨率决定，而它可以非常便宜。真正的传感器只有一个光电二极管，并调校至对特定的波段敏感，这样整个系统的就价格大大降低了。
这里最关键的变化是首先将场景发射的光通过可控的数字镜面装置进行调制。这个装置由很多小镜面组成，其方向可以进行轻微的调整，使得它们可以反射光到传感器，或者不反射光到传感器。这就相当于用一个特定的掩模乘以了场景的光线。而后，反射的光线通过透镜汇聚到单个光电传感器上，形成一个测量信号。
这里左图显示了一个微镜面设备上的两个小镜面，它们分别以不同的角度倾斜，而右图则用一只蚂蚁腿来展示了微镜面上的镜面的尺寸。
SPC重建图像依然基于图中所示的压缩成像的重建原理，作者利用了空域梯度的稀疏性作为先验条件。
但仅仅利用SPC的测量值和基本的空域稀疏性，在重建动态场景时会出现各种各样的问题。如图所示，如果只是利用短时间内的测量值，结果图像的质量很差，而利用了太长时间的测量值，结果又会模糊。
2015年Aswin C. Sankaranarayanan等提出了一种叫做CS-MUVI的方法，能高效的利用到时域和空域两方面的稀疏性信息，得到更好的重建结果。
CS-MUVI能得到当时在SPC重建方面的SOTA结果，这里展示了一个128x128的短视频，是由16384个测量值重建出的61帧128x128的图像，整个系统的压缩比是61:1。
然而，SPC的缺点也很明显，由于DMD的切换频率远低于ADC的工作频率，因此成为了整个系统的瓶颈，一般在10kHz左右。也就是说，每秒钟大概能获得10000个测量值——这使得短时间采集的数据不足以重建更高分辨率的视频。这也是为什么前面的SOTA结果的分辨率也只是在128x128。
为了能够提升整个系统在固定时间内的测量值数量，一个很自然的想法就是用多个像素来取代原来的单像素，比如用像素阵列来取代单像素。
这里图中用F代表像素的个数，于是整个系统的采样率可以用
表示。由于之前介绍的，非可见光的传感器像素是非常昂贵的，我们又希望F的数量是最少的——因此F的数量需要使得采集的模拟信号量刚好能够使得ADC达到最大利用率，即 ，因此 。通常这个数量是非常少的，大概1000个像素左右。
这类方法中，典型的就是Wang Jian等提出的LiSens，他们将多个像素组成了线状的传感器，并用一个柱状镜来使得每个像素能看到DMD中的一行。
作者为了简化系统设计，对DMD采用了每一行相同的编码，并利用最后传感器上采集的信号来重建原始图像。当重建单帧图像时，这里主要是利用了空间梯度的稀疏性，并利用二维全变分方法来重建原始信号。
当需要重建视频时，作者利用了多组读出信号(每组测量M次），并利用视频的时空梯度稀疏性来重建视频帧。重建时用了3D全变分技术。这个方法的缺点是重建高速运动的场景时有模糊感。
这是LiSens的原型设计，其中作者还加入了一个SPC，用于对比。这个系统总的采样频率达到了1MHz
接下来，我们比较LiSens和SPC在相同捕获持续时间下获得的重建结果。捕获持续时间很重要，因为它对应于该设备的时间分辨率。捕获持续时间越短，设备的帧速率越高，最终目标就是尽可能缩短捕获持续时间。 作者对SPC的参数进行了优化，以在给定的捕获持续时间内获得可能的最佳重构。尽管如此，SPC的低测量速率仅提供低空间分辨率的重建。相比之下，LiSens即使在较低的捕获持续时间下也能提供高质量的重建。
这是用LiSens和视频压缩感知技术重构的视频。这个视频达到了空间分辨率1024*768, 9fps。
除了像LiSens这样的线状传感器设计，也有块状传感器形式的设计，但总体来说都是利用了压缩传感的技术，实现了光学超分辨率。因此如下的规则依然是成立的：
参考资料
- CMU 2017 Fall Computational Photography Course 15-463, Lecture 25
- An Introduction to Compressive Sensing: Single Pixel Camera
- LiSens — A Scalable Architecture for Video Compressive Sensing
- FPA-CS: https://openaccess.thecvf.com/content_cvpr_2015/html/Chen_FPA-CS_Focal_Plane_2015_CVPR_paper.html 本文同步发表在我的微信公众号和知乎专栏“计算摄影学”，欢迎扫码关注，转载请注明作者和来源