MMSys2018：全息视频【附PPT全文】

摘要：

2018年6月12号至6月15号，第9届ACM多媒体系统会议（MMSys，ACM Multimedia Systems Conference）在荷兰阿姆斯特丹召开。会上，来自8i labs的Philip A.Chou 做了关于下一代全息视频的主题报告，介绍了目前全息领域的最新技术以及所面临的问题。

全息技术简介

全息视频/影像的概念已在许多电影中出现过：从1977年上映的电影《星球大战4》到最近的《黑豹》。全息是一种交互式的3D技术，全息图的概念最早由伽柏提出，并命名为“伽柏全息图”。伽柏全息图的生成过程主要有两步：波阵面记录和波阵面再现。在波阵面记录过程中，引入适当的相干参考波，使它与物体衍射（或散射）的光相干涉，把这个干涉场记录下来，即可得到一张全息图。在波阵面再现过程中，利用适当的相干再现光，照射全息图，以便得到物体的实像或虚像。

全息技术可以应用于VR/AR/MR领域，点播、直播、通信等多种应用场景。目前，MPEG PCC工作组在全息领域已经有了较多进展，包括点云压缩（Point Cloud Compression，PCC）、3D编码等技术。

点云压缩PCC

点云作为一种有效、高质量的三维数据获取及存储方式，逐渐被广泛接受并使用,点云数据的压缩技术也愈发成熟。点云压缩涉及到值域的映射过程，这种映射形式经历了多次改进：从图形傅里叶变换（GFT）到高斯变换（GPT）再到目前最新的区域自适应的分层变换（RAHT）。分层思想主要体现在函数阶数、相互之间的包含关系以及系数上的差异。研究结果表明，在相同模型质量（PSNR）的条件下，RAHT变换方法可以节省一定的比特率。

基于PCC的光场压缩

全息视频呈现的光场由专门的全光函数定义，有4D、5D、7D三种形式。其中，表面广场（SLF）主要由物体表面每一点所在位置、颜色以及观察方位决定。因而，光场压缩同样可以从减少空间冗余的角度实现。这一过程仍可以利用PCC技术，对光场各点对应函数的系数进行压缩。基于PCC的光场压缩主要有八叉树+RAHT的PCC和基于视频的PCC两种方法。经测试，在与传统方法有相似质量的条件下，基于PCC的光场压缩可以节省约10-60BPV（Bits Per Vertex）的数据量。

全息内容传输

全息视频的传输技术正处于起步阶段，目前的一种可行方案是采用类似于VR360视频基于tile的传输方式，将完整模型分割成多个3D tile，并利用DASH等模式进行传输，这种传输方式对于不同的网络情况有一定的适应性，同时可以提供更好的用户体验质量。

总结与展望

报告最后提到，全息编码与传输技术目前仅处于传统视频相应技术上世纪80、90年代的发展阶段。全息技术还面临着技术、商业、服务与应用等诸多方面的挑战。

报告PPT全文