这篇帖子将介绍OMAF和MPEG，并展示将传统的360°视频转换为OMAF兼容格式后继续通过NBMP的工作流程原型，来演示完整的端到端交互式媒体服务以向未来用户提供身临其境的虚拟现实体验。...OMAF为全向内容具定义了3个级别的自由度 (3DOF)，例如360°视频，图像，音频和定时文本。...图4显示了OMAF案例映射到当前NBMP体系结构块。绿色块是OMAF特定的组件，是面向用户的界面。用户通过这两个组件与整个系统进行交互，其余部分用户看不见。 ?...OMAF Creator 负责处理从完整图片到基于图块的子图片的视频比特流处理，并生成提取器轨道。...但是，由于当前HTML5视频播放器尚不支持OMAF播放，因此最终内容的预览是通过Android或Windows平台上的Nokia OMAF Player提供的。
图1所示为OMAF标准草案的一个发展阶段路线图，从目前的研究趋势可以看出，从2017年1月开始就有成规范体系的关于OMAF框架的MPEG会议输出文档。 ?...图1 OMAF标准草案的发展阶段路线图 图2所示为关于MPEG OMAF的未来发展路线图。...3.1 MPEG OMAF下的全景应用框架 为了支持全景媒体的应用，基于OMAF的全景媒体的系统框架应运而生，如图3所示[8]。图3中实线表示音视频的数据流向，虚线表示OMAF和用户视角的信令流向。...在客户端的模块均受视角信令的控制，体现出OMAF框架的用户交互性；另一方面，全景媒体的映射等信息也通过OMAF信令在封装和渲染模块之间传递。...OMAF标准在原有的基本文件格式标准基础上，加入了映射、打包和鱼眼视频等相关box的表达，有关OMAF的新增信息如图8所示。
标准化进展 现有的VR标准组织主要有MPEG的OMAF、Khronos、DVB、3GPP、DECE、W3C、VRIF等，各组织致力于VR的不同方面，共同推进VR产业标准的发展，指导行业相关人员的技术研发...以下是MEPG-I标准中最主要的八部分内容，目前均在研讨、制定和改善中： （1）沉浸式媒体架构； （2）全景媒体应用格式（OMAF）； （3）通用视频编码； （4）新型沉浸式音频编码； （5）点云编码；...其中，OMAF不同于传统媒体应用框架，在客户端的模块均受视角信令的控制，体现出OMAF框架的用户交互性。此外，OMAF也给出了多种全景媒体映射模型和坐标系及其相互间的转换方式。...OMAF框架下的VR360支持HEVC、AVC视频编码标准，MPEG-4 AAC、MPEG-H音频编码标准，DASH、MMT等多种流传输协议。
OMAF包括两种表示视频图像中全方位场景的方式：（i）经典的“equirectangular”投影，如用于地球的地图，以及（ii）场景到立方体的面上的映射。...视频方面，包括基于HEVC的视角自由的OMAF配置规范(如下图)，OMAF-DASH的基于视角的传输和下载客户端模型，基于HEVC的FOV提升视频配置，额外的规范，视频的质量和性能。 ? ?...图3.OMAF-DASH传输客户端 音频方面：主要是基于OMA中的音频内容的规范，包括OMAF 3D音频的规范，质量和性能等。 ?...服务提供商的基本准则 服务提供商方面包括基于HEVC的视口独立OMAF视频配置文件，基于HEVC的视口依赖OMAF视频配置文件，OMAF 3D音频基线媒体配置文件，球到纹理映射和SEI消息生成，编码和内容准备...图6.多个版本视频资源传输给相应用户 服务平台开发者的基本准则 OMAF主要描述了从解码器输出纹理信息转换为3D /球形视频的元数据。媒体解码器对基本媒体流进行解码。
120次会议在中国澳门落幕，这次会议讨论的内容主要包括了以下几个主题： 点云压缩——MPEG评价了对于CfP(call for proposal)的提交并开始了关于点云压缩的技术工作； 全向媒体格式(OMAF...图1 LiDAR数据 全向媒体格式(OMAF) 人们正在逐渐认识到虚拟现实(VR)的潜力，但是由于缺少可互操作的格式来存储和发送此类内容，所以市场非常分散，从而扼杀了VR的市场潜力。...MPEG最近开始的OMAF项目在第120次会议中完成了国际标准的最终草案(FDIS)。...因为庞大的数据量是VR应用和服务的主要瓶颈，所以标准中也包含了使用多种方法布置视频像素数据的技术，这些技术可以提高压缩效率，减少视频的数据量，此外，标准中还加入了使用MPEG-DASH和MMT协议的OMAF
目前已经形成了一个初步的整体方案MPEG-I，其中第一部分定义了系统、音频和视频相关的参数，并即将发布，其中包括Omnidirectional Media Format (OMAF) ，而其余部分只给出了大致介绍...OMAF实现了许多技术优化，基本上对编码、流媒体传输、解码和呈现等环节都有影响，但在广泛采用之前可能还需要一些时间。其第一版主要关注基于HEVC的360度视频压缩。...换句话说，OMAF正在研究潜在的全息显示技术。OMAF的后续版本可能会针对social VR全方位6自由度（6DoF）甚至光场的密集表示，进行改进。
用于在OMAF v2中提供更真实的用户体验。实际上，3DoF + Visual将成为MPEG-I第7部分沉浸式媒体元数据的一部分。...MPEG-I 2017年10月发布的第2部分全向媒体格式（OMAF）是第一种提供全向内容的标准格式。...由于OMAF的OMAF第二版交互支持计划于2020年1月到达FDIS，因此MPEG大大扩展了OMAF的功能。未来版本可能会增加3DoF+功能。
3DoF+ 360度视频支持，也称为全向视频，已经在用于高效视频编码（HEVC）的MPEG全向媒体格式（OMAF）和补充增强信息（SEI）消息中被标准化。这些标准可用于沉浸式视觉内容的编码和传输。...它将在OMAF中的系统级别和SEI消息中的视频级别被引用。 MPEG-5 EVC 在第125次会议上，MPEG开始研究一种新的视频编码标准，称为MPEG-5基本视频编码（EVC）。
MPEG-I Overview MPEG将Immersive Media分成了7个部分，首先是在Architectures方面；Part2：Omnidirectional Media Format，简称为OMAF...MPEG-I Part 2: OMAF Omnidirectional Media Format 对MPEG来说更主要的还是讨论支持这样场景的编码传输体系怎么去做。...那么有关OMAF，MPEG所理解的整体的pipeline是怎样的？首先是采集，获得一个真正的、非常好的Immersive Media的信息是非常有挑战性的，三自由度的VR其实也是很有挑战性的。...简单的说，在OMAF的第一版里，支持三自由度，还是简单地延用以前的HEVC，那么是不是用H.265和Dash一搭就成了？...3自由度的视频，像OMAF这样的标准已经基本完成，下一步就是要推动产业的应用，会比较快发展起来。
MPEG完成第二版全向媒体格式 本次会议上，通过将ISO / IEC 23009-2提升为国际最终草案（FDIS）状态，完成了第二版全向MediA格式（OMAF）的标准化。...此外，该版本将OMAF规范的应用范围扩展到了360度视频之外。
在打造沉浸式新媒体这一领域，腾讯多媒体实验室始终走在技术前沿，不断探索未来信息传递的多种可能性，把OMAF、DASH等标准研究成果融入产品，从采集、传输、转码、播放、互动等多端带给用户沉浸式感官体验。
事实上OMAF定义了整个全景系统，其中还包括了多媒体容器，以及传输方式。事实上对于VR系统因为传输的是3D的信息，即使在5G的情况下带宽也是远远不够的。...腾讯多媒体实验室在VR360,OMAF,DASH等领域均参与标准制定，并拥有多项专利。 除了 360 视频外，还有其他对三维世界描述的方式，比如把三维物体用点和面表示。
Tiles in HEVC 针对上述不足，OMAF标准提出了基于HEVC Tile来实现的全景视频。类似于H264 Slice，Tile是HEVC中引入的并行化编码工具。...DASH vs WebRTC 目前的全景视频采用的OMAF协议是基于DASH的实现。在这里对DASH和WebRTC进行简单的比较。
这与MPEG OMAF架构类似，Facebook在全景媒体的应用架构中的从媒体获取到渲染播放端的关键技术如下图1所示。 ?...Facebook针对这些难题，与MPEG OMAF的思想类似，提出了基于视角的自适应比特流技术，在视觉感兴趣的区域提供最高质量的视频，同时降低外围背景的视频质量，因此它在缩小比特率的同时，保证视角区域的观看质量
媒体系统的实现 （1）全景媒体的应用格式：OMAF 7.png 下面具体沉浸式媒体系统是怎么实现的。 首先讲一下传统多媒体，一般在点播或者直播情况下，会有容器描述音频和视频图像的存储形式。...OMAF作为全景视频媒体格式，除了定义媒体系统框架，针对全景视频，在视频容器中也会定义一些新参数，来指示这是不是传统视频，采用什么投影方式，也会有一些用户辅助信息，比如初始角度、推荐角度等。
此外，在虚拟现实（VR）、点云（PCC）、网络传输协议 （DASH）、多媒体系统（OMAF、CMAF、NBMP）等相关多媒体标准中也取得了突破性进展，获得多项标准核心专利。
此外，在虚拟现实（VR）、点云（PCC）、网络传输协议 （DASH）、多媒体系统（OMAF、CMAF、NBMP） 等相关多媒体标准中也取得了突破性进展，获得多项标准核心专利。
在虚拟现实（VR）、点云（PCC）、网络传输协议 （DASH）、多媒体系统（OMAF、CMAF、NBMP）等相关多媒体标准中，也取得了突破性进展。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
