57. 使用压缩感知的高速摄影技术

在之前的文章中，我为你介绍了干涉成像、飞秒摄影等超高速的成像方法，这些方法甚至能够以极高的速度拍摄到场景在皮秒级时间内的变化，在这么短短的时间内，光甚至都只运动了不到1毫米！然而，伴随着时域分辨率的极大提升，拍摄一段视频的数据量也将极大的提升，这使得拍摄较长时间的场景运动几乎很难实现。

那么，有没有办法极大的压缩采集图像所需的信息量呢？你可能想到了一系列的图像和视频的编码压缩技术，例如大家熟悉的JPEG图像压缩，H264/H265视频编码等等。然而我今天想要给你介绍的，是在成像阶段就只需要捕获少量信息，但经过处理后却能够恢复出大量原始信息的方法。这就是所谓的压缩成像——Compressive Imaging

一. 压缩成像与欠定问题

我们先来看看相机成像模型：这里你可以看到原始场景的光信号x，经过相机系统的采样形成了图像y，其中y共有M个像素, 而原始信号x则有N个分量。我们可以把相机系统看做是一个MxN的成像矩阵

正如刚开始所说，如果我们在成像阶段采集的信号y是低维的，而原始信号x是高维的，那么这就实际上构成了一个欠定问题。如图所示，这里面未知量数量远远大于已知量，有无限多种解。那么有没有希望解决这样的问题呢？

在计算摄影学里面，这样的问题比比皆是。例如我之前给大家介绍的盲去卷积，以及SeaThru、暗通道先验去雾等等，都需要解决类似的欠定问题。

为了让你重温解决这样的问题的方法，我们来看看下面的填词游戏，和填数字游戏，我想经过一定的训练和熟悉，你是应该可以将空白且简写的句子和数字矩阵填满的——思考一下你是如何做到这点的呢？

仔细思考一下，我想你一定认识到自己在做这些游戏的时候是用到了一些自己的先验知识和假设，例如cnt是指cannot, blv是指believe。实际上，我们解决欠定问题也遵循同样的范式——即在欠定问题中引入先验信息或假设，将问题转换为可解的问题。

对于计算摄影的问题来说，常见的先验信息包括：冗余性、稀疏性等等。

实际上，Emmanuel和陶哲轩2005年发表的论文Decoding by Linear Progamming中已经证明了，对于我们前面提到的欠定问题，当测量矩阵A满足M>=c1Klog(N/K)时，稀疏信号x是可以恢复的，而且当不考虑噪声时，这种恢复是唯一的。

接下来，让我们看看这样的思想在高速摄影的压缩成像方面的实际运用。

二. 压缩成像与超高速摄影

今天大家手上的旗舰手机已经具有了极强的摄影能力，千万级别的像素分辨率几乎已经普及了。

然而，在高速摄影上，进展却没有那么大。例如我展示的小米10 Pro 至尊纪念版这样高端的相机，也只是达到了60fps——离真正的超高速摄影差很远。

如你在图中可以看到的，时域分辨率不足会导致拍摄时出现运动模糊

这个图像中，你会看到其在静态区域具有很高的空间分辨率，但在动态区域则出现了运动模糊

然而当我们想要提升时域分辨率及提升拍摄速度时，又会遇到因为带宽和光通量等限制导致的约束。如你可以在图中所示，时空分辨率形成了一对矛盾的关系：时空分辨率越高，传输和存储所需带宽越大，时空分辨率越高，单个像素在指定曝光周期内捕获的光能越少。

如果要突破这对矛盾，实现同时获取高速和高清视频。应该如何做到呢？这里面第一个思路，是利用时分复用的思想，对每个像素在曝光周期内的信号进行编码。这就需要独立的控制每一个像素的曝光情况，一般来说可以通过某种掩模或者独立控制快门来办到。

这样可以保持总带宽不变，且像素最终获取的光能并未减少太多。如果编码周期很高，而相机帧率较低，这样也就构成了一个欠定系统——接下来就是要想想如何求解这个欠定系统。

正如前面所说，接下来的思路就是要利用到视频和图像信号的一些固有特性了，例如小波域或梯度域的稀疏性，等等。

三. 几篇有意思的压缩成像高速摄影的论文

这里先给大家介绍一篇2011年PAMI上的非常有意思的文章：编码选通摄影，文章提出了一种方法，专门用于进行高速周期性视频的压缩感知。

其整体的思路如图所示，实际上它利用到了周期性信号的频谱只拥有基频的整数倍频率这个特性。这说明了这样的信号在频域上是稀疏的。

让我们复习一下奈奎斯特采样定理：为了能够从采样信号中恢复原始信号x(t)，我们需要用2倍于信号的最高频率的奈奎斯特频率进行采样，才能无损的达到目的。所以如果一个信号的最高频率本身就比较高，那么我们的采样频率就需要更高。

然而，周期信号有其独特的地方，如你所见，周期信号进行傅里叶变换转换到频谱后，只具有稀疏的傅里叶系数——事实上它只包含基频的整数倍频率。这样的话，如果我们采用一个高频的采样信号，实际上是极大的浪费。

利用周期信号在频域上的稀疏性，作者创造性的进行了问题的转换，如图所示。

你可以看到，整个问题被转换为了通过拍摄的编码选通的图像帧y，反求稀疏的傅里叶系数的过程——这就成为了一个可以求解的问题。

作者采用廉价的相机和较高速的快门来实现了编码选通，下面是其展示的效果。

这里你可以看到一把正在旋转的老式电动牙刷，当普通的20fps的相机去拍摄时明显出现了运动模糊。而20fps的编码选通相机拍摄的原始视频也是明显的运动模糊，但我们似乎能够观察到一些规律。这样的视频通过刚才介绍的重建算法后，可以得到高帧率的视频，与右下角用于对比参照的1000fps的视频非常接近。

这是一个正在以50Hz旋转的铣刀，经过重建可以到2000fps，效果也很惊艳！

刚才这篇文章仅仅适用于处理周期信号的高速摄影问题，它主要是利用了信号的周期性以及其在频域上的稀疏性。作者Ashok Veeraraghavan和他的学生Dikpal Reddy很快发表了一篇新文章P2C2，用于对任意的快速运动场景进行高速且高清的录像。这个系统有意思的地方在于，原始的相机不仅仅帧率低(25fps)，而且分辨率也低，只有25万像素，但最终作者竟然得到了100万像素、200fps的视频。这里面作者主要是利用到了视频帧在时域的亮度一致性约束，以及在空域上的小波稀疏约束——引入了新的先验信息，使得它可以对任意的快熟运动场景进行压缩成像，而不仅仅是对周期性信号。

这幅图中左边是参考图像，第二列是带运动模糊的图像帧，最右边是作者对的完整算法重建的结果，可以看到效果很接近参考图像。

刚才两篇文章利用的都是图像的稀疏性，这里再给出一篇有意思的文章，如图所示。它同样利用到了编码采样技术，而有新意的是它利用了图像的冗余性特性，用机器学习的方法提前训练了有一个超完备的图像字典D。通过这个字典，以及采集的视频帧I和原始图像序列E的关系，可以很好的重建出高帧率的视频——这周思路倒是和现在利用深度学习进行视频插帧和恢复的想法比较一致。

从作者展示的最终视频看的，这种方法的确达到了时空分辨率的双突破

四. 总结

总结起来，压缩成像问题一般来说是一个欠定问题，解决这样的问题需要引入图像和视频的一些固有特性形成的先验知识，从而把问题变为可解的。这些先验知识包括了频域、小波域、梯度域等上面的稀疏性，图像内容的重复性、冗余性、图像局部的平滑性等等。很多时候，计算摄影学的传统算法就是在寻找和利用这些先验信息，再辅以高级的数学技巧，构造出精妙的解法。

在深度学习碾压一切的现在，表面上似乎很多问题的解决方案得到了大大的简化，但事实上在问题的解决度，以及方案的泛化性上都还存在着很多局限性。我想如果能够很好的在基于深度学习的方案中结合传统算法的这些思想，一定可以有更为巧妙和完备的方案来突破这些局限。希望本文能够带给你启发！

五. 参考资料

1. CMU 2017 Fall Computational Photography Course 15-463, Lecture 25
2. Ashok Veeraraghavan, Dikpal Reddy, Ramesh Raskar, “Coded strobing photography: Compressive sensing of high speed periodic videos“, accepted for IEEE Conference on Pattern Analysis and Machine Intelligence (PAMI), April 2011
3. Video from a Single Exposure Coded Photograph
4. Dikpal Reddy, Ashok Veeraraghavan, Rama Chellappa, “P2C2: Programmable pixel compressive camera for high speed imaging”, accepted for 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2011