时间二次采样对体素视频质量评估精度的影响

来源：PCS2021 主讲人：Ali Ak 内容整理：张雨虹 主要介绍了时间二次采样对体素视频质量评估精度的影响，从不同时间采样率、不同时间池化方法角度分别进行了实验探讨。

目录

• 研究背景
• 体素视频内容的客观质量评价
• 时间采样率
• 时间池化方法
• VSense-VVDB2 数据集
• 时间次采样率的影响
• 时间池化方法的影响
• 时间次采样率和池化方法的综合影响
• 结论

1研究背景

在过去的时间里，体素视频内容吸引了越来越多的研究兴趣，因为它促进了动态现实世界内容在虚拟环境中的集成。点云是表示体素视频内容的最常见替代方法之一。然而，与标准 2D 视频相比，这种表示需要大量的数据存储，并且对压缩算法造成更大的压力。这一挑战引发了新的点云压缩技术开发的新浪潮，需要从生产质量方面对其进行评估。由于数据的高维数，评估相关编码算法的性能可能非常耗时。这为使用复杂但在感知上准确的客观质量指标优化编码算法设置了障碍。

体素视频

2体素视频内容的客观质量评价

体素视频内容的客观质量评价可以分为如下三种：

在本文实验中考虑了 13 种基于点的， 6 种基于颜色的以及 11 种基于图像的客观评价矩阵。

体素视频包含多个帧，因此需要逐帧对其客观质量进行评价，每一帧的客观评价经过一个池化函数，得到体素视频客观质量的最终评价。

3时间采样率

在本实验中，原始视频的帧率是 30 fps 。用 8 种不同的帧率进行实验（1，2，3，5，6，10，15，30）。从第一帧开始到最后一帧均匀地对帧进行采样，

4时间池化方法

本文采用了七种池化方法进行试验，具体介绍可以参考本文原始文献。

5VSense-VVDB2 数据集

本文在 VSense-VVDB2 数据集上进行了实验，该数据集包括 8 个点云序列，所有的序列都采用了 3 种不同的编码算法进行压缩，得到了 16 个压缩级别。对每个序列都进行了轨道渲染，使用 ACR-HR 的方法显示在 2D 显示器上以便于收集参与者的平均意见分数。

6时间次采样率的影响

95% 的百分位范围和不同帧速率下 V-PCC 编码的 5 个级别的所选度量分数的中值

每个图的横轴为用于实验的 8 个不同的帧率，可以看到 Color-Y 和 SSIM 指标不会随着帧率的变化而发生剧烈变化，而 EM-IQM 和 p2plane-Haus 会随帧率的变化而大幅波动。

类似地，本文给出了16个不同压缩水平的中值图，如上图所示，可以看到，大多数度量指标不受时间采样率的影响。下表显示了不同时间采样频率下每个度量的 PCC 值，可以观察到，具有更高性能（PCC 值高于 0.5）的指标在不同时间采样频率下具有不显著的性能差异。

7时间池化方法的影响

所选质量指标预测的客观分数与 DMOS 分数的散点图。每行对应一个特定的池化方法。

上图为 VSense-VVDB2 数据集中 128 个点云刺激的散点图。每个图中的横轴是度量分数，而纵轴是每个刺激的差异平均意见分数 (DMOS)，图中每一列对应一个不同的客观质量度量，每一行对应一个特定的时间池化方法，可以看到 Color-Y 和 SSIM指标在不同池化方法下数据点的分布彼此没有显著差异。相反，第 3 和第 4 列在不同的时间池化方法中差异很大。下表显示了使用不同池化方法的每个指标的 PCC 值。从表中可以看出，时间池化方法的变化对高性能质量指标（PCC值高于0.5）没有显著影响。

8时间次采样率和池化方法的综合影响

从图中可以看到，没有一种池化方式或者采样速率具有显著优势。

9结论

• 本文讨论了时间次采样和时间池化方法对于度量性能的影响。
• 给出了用于对体素视频进行点云压缩算法的质量评估客观评价指标。
• 点云压缩的客观评估受时间子采样率的影响最小，这表明能够在不牺牲准确性的情况下提高客观质量评估的计算效率