利用显著图进行光场图质量评价
来源：PCS 2021 演讲者：来自 University of Roma Tre 的 K.Lamichhane 内容整理：贾荣立 本文利用显著图，基于神经网络设计并训练了无参考 LFIQA 模型，在 SMART 数据集上，其性能达到了 SOTA 的水平。
目录
- 背景
- 显著图
- 质量评价整体流程
- 实验设置
- 结果展示
- 总结
1背景
随着 LFI 技术的发展，光场图的应用变得日益广泛。LFI 中包含了更多的信息，包括光强信息和光线角度等信息。但是和传统图像相同的是，LFI 在压缩，传输等环节也会产生不同程度的失真，因此，如何评价失真的 LFI 质量，对我们实际应用 LFI 有重要的指导意义。
光场图记录了光的强度以及光线方向
本文利用显著图，基于神经网络设计并训练了无参考 LFIQA 模型，在 SMART 数据集上，其性能达到了 SOTA 的水平。
2显著图
显著图是通过提取输入图像对每个空间分配的感知重要特征而获得的图像。它的目标在于将一般图像转变为更易分析的形式。
GBVSmap
生成显著图的模型如下：
- Itti & Koch
- GBVS
- BMS
- EBMS
- Geometry based model
- Foreground object extraction based model
3质量评价整体流程
质量评价流程如下图所示：
质量评价的整体流程图
数据输入部分，输入的数据由失真图像和对应的无失真参考图像组成；在第一个阶段，使用 Itti，GBVS 等模型生成显著图，并将其进行整合；在处理阶段，使用基于学习的模型将第一阶段得到的图像进行处理并回归得到最终的预测分数。最后，使用 SROCC，PLCC 等相关指标评估模型的质量。
网络层结构如图所示：
网络层结构
4实验设置
- 数据集：使用 SMART，共有 16 张参考图像，包含四种失真类型（HEVC,JPEG,JPEG2K,SSDC），四个等级的失真程度，共 256 张失真图像。
- 图片大小：364×512
- 训练设置：训练集和测试集 8:2，梯度下降和 NADAM 优化器，损失函数为 MSE
- 评价指标：SROCC，PLCC
5结果展示
从多个角度分析并进行结果展示，表一展示了归一化图像与显著性图的 BT 分数的相似性：
表一：归一化图像与显著性图的 BT 分数的相似性
表二展示了 LFIQA 模型在不同训练阶段的表现，可以看出在 epoch 为 15 时在评价指标上有着较好的表现：
表二：LFIQA 模型在不同训练阶段的表现
表三展示了是否加入显著图对于模型性能的影响，可以看出显著图确实对模型性能有所提升：
表三：加入显著图对于模型性能的影响
表四展示了本文提出的 LFIQA 模型与其他评价方法的性能比较，可以看出本文提出的模型与其他方法和模型相比有着明显的性能提升：
表四：LFIQA 模型与其他评价方法的性能比较
6总结
本文证明了显著信息在 LFI 质量评价过程中的重要性，指出了归一化图像和显著图的失真程度与主观质量分数较高的相关性，并提出了结合显著图的无参考 LFI 质量评价模型。实验结果证明，本文提出的 LFIQA 模型在 SMART 数据集上达到了 SOTA 的结果。
附上演讲视频：