下一代多媒体编解码器在5G网络下的使用

00

背景介绍

第三代移动通信技术(3GPP: 3rd Generation Partnership Project)标准组织是制定5G无线标准以及开发支持5G周边智能移动设备和网络终端的关键组织。腾讯作为国际多媒体编解码标准制定的牵头人，参与3GPP 5G关于多媒体编解码器的研究和标准制定显得尤为重要。这不仅会为腾讯多媒体服务和相关业务（例如腾讯视频会议，视频传输以及云游戏等）提供关键性的技术支持，同时会保证腾讯自主知识产权的国际地位。3GPP SA4作为一个专注于5G网络下多媒体编解码的工作组， 聚集了来自国际顶级的网络和多媒体编解码的专家。

腾讯的 Gilles Teniou 担任SA4视频子工作组的主席，除了指导工作组的日常会议进程外，同时和多媒体实验室的Iraj Sodagar博士和Rohit Abhishek博士一直坚守在SA4关于5G对于多媒体编解码标准制定的第一线， 保证3GPP 5G的相关标准与腾讯的多媒体业务保持一致，积极带动腾讯多媒体业务和标准的国际化。

虽然3GPP 关于5G标准已于2018年中完成, 但是现有的多媒体格式是根据4G无线网络的框架下创建并继续在5G网络下被实现。这就意味着目前的5G无线网络将只支持移动设备对MPEG-4 AVC和H.265 / HEVC编解码器以及相关的网络传输协议。随着5G无线网络对高带宽和低延迟服务的不断优化， 大众对超高清视频业务需求包括视频会议和云游戏的迅猛增加，这无疑对5G无线网络供应商和多媒体内容服务商提出了更高的要求。

腾讯多媒体实验室在国际上一直保持着多媒体压缩技术的领先，其中包括H.266 / VVC，MPEG-5 EVC和AOM AV2等。这些新一代视频编解码标准的开发和实现将为各行各业提供很多高清视频压缩和传输的替代方案，极大改善用户体验和降低网络流量的传输。由此可见，如何在5G网络下支持新一代的编解码将显得尤为重要。多媒体实验室的专家们对3GPP 关于H.264 / AVC和H.265 / HEVC在4G下的实现有着丰富经验，这将极大帮助腾讯推动3GPP 5G 对未来视频编解码器的支持和国际标准的制定。

01

5G下如何根据具体的服务需求选择正确视频编解码器

3GPP SA4正式采纳了来自多媒体实验室Gilles Teniou提出的视频编解码器在5G网络下的评估方案， 确定用 以下服务列表 进行用于5G视频编解码器的性能评估：

No.1 超高清多媒体传输

随着UHD和4K逐渐进入主流多媒体格式，移动端的流媒体服务将以每秒50或60帧的速度并且高达1080p的格式进行网络传输。对于腾讯而言，以WeTV之类的多媒体服务， 这类流媒体格式也将会采纳这种主流媒体格式服务客户。

No.2 4K TV服务

4K 网络电视流媒体服务将继续提供给用户高质量（例如HDR）视觉体验，包括网络视频点播和直播服务（例如实时体育赛事）。

No.3 屏幕内容分享

屏幕内容分享服务包括视频会议（腾讯会议），幻灯片分享，和用于远程协助的远程桌面应用程序。

No.4云游戏

在典型的云游戏环境下，游戏视频参数包括编解码的选择，分辨率，帧速率和颜色位深度等需要游戏服务器和客户端的协商，保证稳定的高质量游戏视频流。

No.5网络社交平台

随着各种社交平台服务在全球范围内扩大，比如腾讯的微信等消息平台， 导致网络上/下游流量的飞速增长。

02

5G下多媒体编解码标准化的评估流程

根据多媒体的各种服务要求，配置相关的编码参数来保证服务的流畅性是一项非常重要的测量编解码效率的工作。例如，视频会议要求相对较低的端到端网络延迟，通过给与高级别的编解码参数设置将给用户提供更高的用户体验， 极大减少用户对延迟的敏感度。

5G下视频编解码器的正确参数配置将直接影响腾讯游戏和屏幕内容服务的高压缩和传输效率。为了创建5G下多媒体标准化的评估流程并保证腾讯多媒体服务的国际化，多媒体实验室为3GPP SA4 工作组提供了来自Baolei(Fortnite), Jianling(Blade＆Soul)和Valor Arena的游戏视频测试序列。并且还提供了屏幕内容视频测试序列，如PowerPoint幻灯片等。这些视频序列通常在视频会议期间被共享，涉及的细节和复杂度会根据编解码和网络的需求而不同。

03

实现视频编解码器适配的自动化

在3GPP网络下实现自动化编解码器参数在5G网络下的适配是一项重要研究课题。为此多媒体实验室开发了一套媒体特征描述框架来实现自动化的流程，如下图所示：

编解码适配自动化的流程简介：对于每个测试序列(test sequence)（又称为参考序列，reference sequence），将会通过对参考视频编码器(encoder)和与特殊媒体服务相关联的关键参数(anchor)进行适配并编码， 从而生成适合此项流媒体服务的网络比特流。然后再通过对每个生成的视频流进行解码。解码后的视频流将会与参考序列(reference sequence)进行比较并提取重要质量指标参数，比如流媒体服务商Netflix制定的视频评估标准：峰值信噪比(PSNR)，多尺度结构相似性度量标准(MS-SSIM)以及包括根据人类视觉模型与机器学习相结合的视频质量评价指标(VMAF)等。

04

为下一代视频编解码器在5G下的使用奠定基础

3GPP SA4将于2021下半年着手开始5G对下一代视频编解码器的支持。这对腾讯来说将是一项意义深远并且充满挑战的重要工作，因为它将根据不同的多媒体服务要求确切的归纳目前市面上多媒体服务对视频编解码器性能的需求，与此同时5G的网络设备商将陆续支持这些新的视频编解码器，满足移动端客户对高品质视频流的需求。

腾讯作为国际公认的多媒体行业的关键参与者和多媒体内容服务的提供商， 将有能力部署国际一流的多媒体编解码器和传输的解决方案。对于多媒体实验室的团队来说，加强腾讯各个多媒体业务部门的合作，收集有利于腾讯业务的需求显得非常重要。

请随时与我们联系并分享您的需求：

腾讯多媒体实验室

jeffreyye@tencent.com

作者：shuaiizhao 张意晗

编辑：shuaiizhao 张意晗