MMSys2018:全息视频【附PPT全文】

摘要:

2018年6月12号至6月15号,第9届ACM多媒体系统会议(MMSys,ACM Multimedia Systems Conference)在荷兰阿姆斯特丹召开。会上,来自8i labs的Philip A.Chou 做了关于下一代全息视频的主题报告,介绍了目前全息领域的最新技术以及所面临的问题。

全息技术简介

全息视频/影像的概念已在许多电影中出现过:从1977年上映的电影《星球大战4》到最近的《黑豹》。全息是一种交互式的3D技术,全息图的概念最早由伽柏提出,并命名为“伽柏全息图”。伽柏全息图的生成过程主要有两步:波阵面记录和波阵面再现。在波阵面记录过程中,引入适当的相干参考波,使它与物体衍射(或散射)的光相干涉,把这个干涉场记录下来,即可得到一张全息图。在波阵面再现过程中,利用适当的相干再现光,照射全息图,以便得到物体的实像或虚像。

全息技术可以应用于VR/AR/MR领域,点播、直播、通信等多种应用场景。目前,MPEG PCC工作组在全息领域已经有了较多进展,包括点云压缩(Point Cloud Compression,PCC)、3D编码等技术。

点云压缩PCC

点云作为一种有效、高质量的三维数据获取及存储方式,逐渐被广泛接受并使用,点云数据的压缩技术也愈发成熟。点云压缩涉及到值域的映射过程,这种映射形式经历了多次改进:从图形傅里叶变换(GFT)到高斯变换(GPT)再到目前最新的区域自适应的分层变换(RAHT)。分层思想主要体现在函数阶数、相互之间的包含关系以及系数上的差异。研究结果表明,在相同模型质量(PSNR)的条件下,RAHT变换方法可以节省一定的比特率。

基于PCC的光场压缩

全息视频呈现的光场由专门的全光函数定义,有4D、5D、7D三种形式。其中,表面广场(SLF)主要由物体表面每一点所在位置、颜色以及观察方位决定。因而,光场压缩同样可以从减少空间冗余的角度实现。这一过程仍可以利用PCC技术,对光场各点对应函数的系数进行压缩。基于PCC的光场压缩主要有八叉树+RAHT的PCC和基于视频的PCC两种方法。经测试,在与传统方法有相似质量的条件下,基于PCC的光场压缩可以节省约10-60BPV(Bits Per Vertex)的数据量。

全息内容传输

全息视频的传输技术正处于起步阶段,目前的一种可行方案是采用类似于VR360视频基于tile的传输方式,将完整模型分割成多个3D tile,并利用DASH等模式进行传输,这种传输方式对于不同的网络情况有一定的适应性,同时可以提供更好的用户体验质量。

总结与展望

报告最后提到,全息编码与传输技术目前仅处于传统视频相应技术上世纪80、90年代的发展阶段。全息技术还面临着技术、商业、服务与应用等诸多方面的挑战。

报告PPT全文

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-07-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【强化学习炼金术】李飞飞高徒带你一文读懂RL来龙去脉

来源: 心有麟熙 作者: Jim 范麟熙 编辑:常佩琦 【新智元导读】斯坦福大学博士生、师从李飞飞教授的Jim Fan(范麟熙)带你一文读懂强化学习的来龙去脉。...

44990
来自专栏机器学习算法与Python学习

干货 | 数据挖掘中的十大实用方法,可能你并不一定都熟悉!

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 目录 基于历史的MBR分析 购物...

39250
来自专栏AI科技大本营的专栏

eBay数据科学家李睿:自然语言处理在eBay的技术实践

记者|谷磊 近日,在飞马网主办的“FMI人工智能&大数据高峰论坛”上,来自eBay的数据科学家李睿博士以“NLP(自然语言处理)在eBay的技术实践”为题做了主...

46490
来自专栏用户2442861的专栏

如果看了这篇文章你还不懂傅里叶变换,那就过来掐死我吧(3)

作者:Heinrich 链接:https://zhuanlan.zhihu.com/p/19763358 来源:知乎 著作权归作者所有。商业转载请联系作者...

10110
来自专栏大数据挖掘DT机器学习

【趣味】数据挖掘(3)—Apriori算法-论文引用与数据血统论

本文先通俗地介绍快速挖掘关联规则的Apriori算法,然后介绍发表这一算法的论文(它被引用了11480+次),最后关注此文的实际影响 与 传统影响因子的...

38860
来自专栏大数据文摘

阿里获中文语法大赛 CGED冠军后,我们和领队科学家聊了聊中文语义识别

42130
来自专栏大数据挖掘DT机器学习

R语言学习路线和常用数据挖掘包

对于初学R语言的人,最常见的方式是:遇到不会的地方,就跑到论坛上吼一嗓子,然后欣然or悲伤的离去,一直到遇到下一个问题再回来。当然,这不是最好的学习...

35060
来自专栏企鹅号快讯

数据挖掘中的十大实用分析方法

1.基于历史的MBR分析 基于历史(Memory-Based Reasoning)的MBR分析方法最主要的概念是用已知的案例(case)来预测未来案例的一些属性...

23060
来自专栏深度学习自然语言处理

如何具体学习计算机视觉

这两年,计算机视觉似乎火了起来,计算机视觉的黄金时代真的到来了吗?生物医学、机械自动化、土木建筑等好多专业的学生都开始研究其在各自领域的应用,一个视觉交流群里三...

26630
来自专栏ATYUN订阅号

研究人员利用重音训练AI,以提高模型对口音的识别

没有什么东西比不懂你口音的语音识别系统更令人沮丧。发音的语言差异使数据科学家多年来一直困扰,训练模型需要大量数据,而某些方言不像其他方言那么常见。

13820

扫码关注云+社区

领取腾讯云代金券