基于压缩结构光场图像进行多信息融合深度估计

本文来自OSA Publishing，演讲者是郑州大学的Xiaomin Liu，题目是”基于压缩结构光场图像进行多信息融合深度估计“。

讲者首先介绍了一下光场及其应用。光场记录了空间中光线的集合，包含光线在空间中的位置和角度信息。最早人们使用7维全光函数描述空间中的光场，而在一定的约束下。四参数光场被提出，这也是讲者所使用的光场表示形式。随后，作者从3D显示和3D测量、3D成像、3D建模等方面介绍了光场的应用。

接着，讲者介绍了被动式深度估计（区别于深度传感器的主动式深度估计）的发展历史、以及光谱成像技术、光谱光场获取等技术的发展现状以及应用。并且介绍了他们的深度估计系统框架，如下图所示：

该流程分为5个部分，分别是采集系统光谱光场数据收集、多视角多光谱真色图像生成、数字重对焦，以及深度估计结果。采集过程中，他们采用了5x5视差采集，如图所示：

其次，作者介绍了图像处理部分的算法设计。首先，在预处理部分，他们需要基于不同波长获取图像来获取真实图像的灰度值；而在已知深度信息的后处理算法设计部分，他们将33个波段采集的频谱图进行处理图像色彩生成和矫正，以获得纹理图像。

而在核心的深度估计部分，讲者采用了如下的估计流程：

其中，作者采用了三个核心算法。首先是利用带边界的角度熵算法，利用深度图在时间上的连续性，计算遮挡关系；其次是利用受限的适应性散焦算法，以进行深度估计和噪声去除；最后，他们还通过深度信息正则化，利用边缘信息生成深度图对应的置信度图。最后，他们采用MRF融合算法以及全局深度优化算法，生成最终的深度图。其最终的主观效果如下：