专栏首页音视频技术NAB 2019见闻:CAE视频编码与QoE

NAB 2019见闻:CAE视频编码与QoE

资深编解码技术专家Jan Ozer撰文总结描述了其在NAB 2019大会中的见闻,文章介绍了CAE视频编码的几种阶梯展现,以及如何减少带宽并提高体验质量。

文/ Jan Ozer

译/ 元宝

原文

https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=131182

每年在参加NAB的时候我都对产品没有抱什么期望,日程安排也都是比较随意,而不是经过精心组织安排的。会场到处都是我想要见的公司和朋友,还有其他一些公司,他们的营销人员很积极,会恰好在合适的时间打来电话。另外,在我空闲时间的时候,我也会在展厅里看看有哪些吸引我目光的公司。因此,本篇文章是有关于“Jan在NAB所看到的内容”,而不是“展会上所有与流媒体相关的重要进展”。

每个知道编码阶梯是什么的人都应该先阅读第一部分;然后,我会将这些技术分成几个部分,这样您就可以快速浏览并查看哪些部分可能与您相关。希望这对你是有所帮助的。

新的提升

2015年12月14日,Netflix通过引入按标题编码的方法来替代了固定编码阶梯,该编码方式根据每个视频的独特内容为每个视频创建特定的阶梯。在NAB 2019,按标题编码被上下文感知编码的概念所淘汰,上下文感知编码结合了视频的独特内容、网络和设备使用统计数据,根据观众实际观看视频的方式,为每个视频创建一个优化质量的阶梯。实际上,上下文感知编码可以降低编码、存储和带宽成本,并提高用户的观看体验。

这个概念很简单:QoE信标和网络日志提供了一些细节,比如观看者的有效可用带宽、他们用来观看视频的设备以及在编码阶梯上的查看分布。您的编码阶梯应该同时考虑这些数据和内容。

第一个将这个概念产品化的是Brightcove及其上下文感知编码(CAE)。在一篇题为《优化大规模多屏幕视频传输》的白皮书中,Brightcove的作者为三家不同的运营商创建了同一视频的编码阶梯,第一家运营商主要面向移动用户,第二家运营商主要面向PC和电视用户,第三家运营商专门面向通过电视观看视频的高带宽用户。图1显示了为每个运营商创建的编码梯形图,同样也是为相同的内容创建的。

图1. Brightcove的Context Aware Encoding(CAE)根据设备和网络统计信息为相同的内容生成三个不同的梯形图。

本文将这些梯形图与Apple HLS 创作规范中推荐的HLS编码梯形图进行了比较,并说明了三个自定义梯子如何减少再现和整体存储的数量,以及如何减少带宽和提高体验质量。它为CAE提供的价值是提供了引人注目的画面。

Brightcove已部署CAE超过一年了,而在NAB至少有两家公司——Epic Labs和Mux,透露了他们类似想法的版本。Epic Labs在一个名为LightFlow的产品中提供其版本,并且至少有一个高容量用户,而Mux则在4月份添加了Audience Adaptive Encoding 到它的编码堆栈中。

图2.反馈到Epic Labs的LightFlow系统的带宽和设备数据。

有关Brightcove和Epic Labs产品的更多信息,您可以观看我对Epic Labs创始人兼首席执行官Alfonso Peletier的采访。

您现在可以使用现有的编码工具和工作流做些什么呢?除了与这些公司签约之外,您还可以仔细查看观众最常使用的设备分辨率以及通常消耗的编码阶梯的梯级,然后进行一些常规的调整。许多主要服务于北美、欧洲和远东国家的组织会发现,大多数观众都是在观看最热门的两到三条流,而且它们可以在不降低QoE质量的前提下,从自己的梯子底部剪切下一两段。相反地,那些主要服务于较低比特率的查看器的最好方法是将它们的大部分梯级集中在这个范围内的查看器上。快速浏览图1可以为这些工作提供指导。

在我看来,无论以什么名义,将网络和设备数据合并到编码梯形公式中是我在NAB看到的最重要的技术。但还有许多其他亮点,这里只是一个简短的概要。

什么是Twitch?

Twitch.tv是一个进步显著且非常成功的运营商,通过贡献文章文章以及在会议中发表演讲,他们一直在与流媒体观众分享其专业知识。Twitch的明星之一是沈悦时,首席研究工程师(7级)兼项目工程经理。在一次采访中,悦时分享了Twitch采用VP9和AV1的计划,以及为什么在向成千上万的实时观众流式传输时绝对需要进行恒定比特率编码。

在VOD编码方面

我与Telestream开始了我的NAB,与市场总监Ken Haren讨论了Vantage Cloud端口。在较高的层次上,该端口使Vantage客户能够将许多以前只能在本地使用的工作流部署到云上,这是一个关键的好处,因为越来越多的公司将夹层资产存储在云上。

在我的下一站Capella Systems,我讨论了Cambria FTC的主要新功能,这是该公司的旗舰VOD编码器。与Telestream一样,Capella向Cambria添加了云功能,特别是能够启动运行Cambria的AWS实例,并将编码分发给这些实例,就像在本地编码场上运行的任何其他Cambria实例一样。Capella创建了AMI预置,用户可以在Cambria中启动和控制它。它非常适合将溢出编码需求推送到云,同时将正常负载以最经济的方式编码到现有系统。

另一个新功能是能够导入基本流并以DASH或HLS格式打包它们。这允许生产者对其内容进行一次编码,并根据需要将其打包以用于其他分发目标。这种先编码后打包的两步工作流程比针对每种输出格式从零开始编码要有效得多。

周三,我采访了Encoding.com创始人兼首席执行官Greggory Heil。除了讨论最近发布的全球格式报告,Heil还强调了一些新特性,比如编码和解码Apple ProRes、输出Dolby Vision的能力,以及Ludicrous HLS将源文件分割成更小的片段来加速编码。作为对上述按上下文讨论的一个有趣的对比,在采访之后,我问Heil为什么Encoding.com还没有提供按标题编码。他回答说,虽然按标题编码肯定都在他们的路线图上,但它在用户中并不是一个非常受欢迎的功能。

我与AWS Elemental进行了简短的会面,讨论了AWS MediaConvert的加速编码。它与Encoding.com的Ludicrous HLS一样,将视频分段提供给多个编码器,从而将编码速度提高至多25倍。

我还与云编码器Qencode的首席执行官Murad Mordukhay进行了交谈。Qencode提供一种按标题编码的形式,定价非常有吸引力,比如SD编码每分钟0.004美元。该服务支持所有相关的输入和输出格式,包括AV1,任何寻求云编码工具的公司都值得一看。

基于硬件的编码和解码

硬件转码是一个令人感兴趣的话题,我将在Streaming Media East上发表关于这个话题演讲。NETINT是一家提供超高密度解决方案的公司,它展示了基于公司自己的Codensity G4 SSD控制器SoC(系统在一个芯片上)的Codensity T400视频转码器,能够在高达单个4K / 60p或8x 1080p流的情况下进行可扩展的H.264 / H.265转码。Codensity芯片使用现在许多企业级存储服务器中常见的NVMe连接来实现高密度解决方案。

我还会见了Softiron产品战略顾问Anil Saw,他展示了他们的高密度HyperCast编码器,它是围绕Socionext的MB86M30 SoC构建的。HyperCast可以在1RU形式因子中支持多达32个SoC,每个SoC可以编码多达一个4K60流或四个1080p60流,每个流最多包含六个视频和两个音频输出。NETINT和Softiron都面向电信、有线、卫星和云视频服务提供商。

NGCodec开发、营销和销售基于Xilinx FPGA的硬件编码器。在NAB,NGCodec演示了实时的HEVC和AV1转码,他们声称比其他基于硬件的H.265和VP9编码器提供了30%的更好的压缩。值得注意的是,这是Twitch TV在其基于硬件的VP9代码转换中使用的技术。

AV1实时编码是一项技术预览,并且只支持i-Frame。另外还有一种新的HEVC双密度编码,它使每个FPGA的输出容量翻倍。NGCodec编码可作为AWS服务使用,使其易于访问。我与公司总裁Oliver Gunasekara进行了交谈,并就Intel / Netflix新发表的SVT/AV1编解码器发表了一些直接的评论。

同样在硬件方面,Beamr展示了基于Intel图形技术GPU的硬件加速CABR(内容自适应比特率编码)。在较高的层次上,Beamr将自己的速率控制机制插入到Intel GPU的HEVC编码管道中,因此Beamr可以在Intel CPU进行HEVC编码时进行速率控制。这加快了Beam的内容自适应编码性能,但质量可能与Beamr自己的基于软件的HEVC编码器的质量相匹配。

有趣的是,英特尔似乎正在通过其SVT-AV1公告以及相关的HEVC、VP9和H.264编解码器来远离硬件编码。Beamr正在进入这个领域,应该能够通过Beamr CABR SDK 将内容自适应功能扩展到任何GPU、CPU、FPGA或其他采用H.264或HEVC编码的硬件。

所有上述公司都使用硬件编码以进行分发。在贡献方面,我与LiveU工程副总裁Daniel Pisarski谈论了HEVC如何在LiveU生态系统中工作以及5G何时会贡献相关的内容。简而言之,HEVC很快就成为了LiveU用户所青睐的格式,尽管所有的传输都必须通过LiveU的云服务进行路由,在云服务中,信号从设备上的各种调制解调器组装到H.264上,然后被转换成H.264,最后流到最终目标。Pisarski预计5G将在未来12到24个月内变得重要。

质量和QoE监控

SSIMWave是SSIMPlus指标的开发者,该指标是用于VOD和实时监控的功能强大且轻量级的指标,并提供特殊的设备支持。在NAB会议上,我了解到该公司参与了ASC运动成像技术委员会的HDR评估工作组。目的是评估在HDR制作工作流程中使用的不同技术和格式如何保留“原始创作意图”,和“校准SSIM结构相似度视觉感知质量指标的HDR,宽颜色,超高分辨率的视频材料,基于专业电影摄影师和色彩师的反馈,以及制作和进行颜色分级的材料。“

从本质上说,通过这些金眼睛的输入,SSIMplus将在HDR输出的准确性方面得到“训练”,这应该使其成为HDR生产的首选指标。为HDR评估创建的几个源/编码比较屏幕已经成为SSIMWave零售产品,包括用于比较源和编码输出之间的颜色相关差异的极好的屏幕。

我和QoE供应商的同事们一起度过了愉快的30分钟,他们都是工作上友好共事的人,这是名副其实的。我和Jonathan Shields谈到了NPAW产品线,包括他们在视频中的反流失和CDN切换工具。我们还花了一些时间讨论哪些视频发布者已经采用了QoE解决方案,哪些还没有,但应该采用QoE解决方案。基本上,Shields创造了一个强有力的案例,如果视频对一个行动至关重要,那么QoE也应该如此。

Finishing Up

还有这样的一些公司,他们的产品并不完全符合任何类别。其中一个是Mediamelon,它的SmartPlay Streaming是一种针对按标题编码的交付端优化器。也就是说,该服务测量ABR组中流的质量,并且只有当它实际增加了观察者所感知到的质量时,才分配更高的带宽流。因此,可能以1080p@3Mbps检索简单场景,而以1080p@5Mbps接收更高动作场景。系统还可以在复杂场景之前下载视频,以避免在受限条件下缓冲较大尺寸的片段。

我们以QBR的名义对产品进行了评审。虽然QBR运作良好,但它有一个严重的弊端,只有当梯子中的所有梯级都以相同的分辨率编码时,它才会工作,这与大多数推荐的方法相反。不过这个问题已经得到了很好的解决,公司进一步完善了其内部度量标准,并使用这个标准来度量编码阶梯中的流的质量。

这个名为MediaMelon iMOS的指标运行速度比实时更快,这很好,但我想知道评分与VMAF的关系有多密切,在评估完整编码梯子时,VMAF是我最信任的指标。MediaMelon提供了如图3所示的比较,它显示了这两个指标之间的合理相关性。因此,如果您相信VMAF,那么iMOS应该能够很好地预测您的观众实际感知到的质量,这意味着SmartPlay流媒体应该能够有效地为您服务。

图3. Mediamelon的按标题交付端应该能够通过使用该指标预测质量来减少下载带宽

SmartPlay流媒体是一种提高带宽效率的方法,无需按每个标题或每个上下文技术重新编码整个库。它也可以与每个标题系统一起使用,以节省带宽,不过,如果将内容编码到一个典型的固定比特率阶梯,您可能会获得最大的收益。

本文分享自微信公众号 - LiveVideoStack(livevideostack)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

推荐阅读

  • 日访问百万级微信小程序优化技巧总结

    之前负责的锡慧在线小程序是一款公益性质在线教育类小程序,因疫情影响导致流量暴增,日访问过百万

    薛定喵君
    小程序微信缓存RedisCanvas
  • Spiral: 一个性能卓越的PHP/Golang混合开发框架

    春节期间,了解到一个“全新”的 WEB 开发框架:Spiral, 最开始引起我的兴趣是从同事那里听说了 RoadRunner. 然后去了解 RoadRunner 的时候看到了 Spiral. 之所以把“全新”用双引号引起来,是因为这个框架其实从 2013 年起就在它的开发团队以及一些企业客户中应用了,经历了各种实际应用场景的考验,Spiral 的功能及其丰富,性能与当前主流的 PHP 框架相比也相当出众。但这个框架源自俄国,在国内不算知名,他们团队开始重视和梳理开源,也应该是才开始的事情。

    小李刀刀
    PHPGoSymfony
  • kubernetes系列教程(二十)prometheus提供完备监控系统

    上一个章节中kubernetes系列教程(十九)使用metric-server让HPA弹性伸缩愉快运行介绍了在kubernetes中的监控架构,通过安装和使用metric-server提供kubernetes中的核心监控指标:提供node节点和pod容器CPU和内存的监控能力,核心监控指标提供的监控维度和指标相对有限,需要更好的扩展监控能力,需要使用自定义监控来实现,本文介绍prometheus提供更更加丰富的自定义监控能力。

    HappyLau谈云计算
    Kubernetes容器微服务云监控
  • 如何将设计思维应用到精益初创公司的软件开发

    我们所说的设计思维,是指由 IDEO 公司的 Tim Brown 提出,并且正在改变全世界组织的设计思维,简称 DT。(译者注:IDDO,当代最具影响力的设计公司之一)

    Aceyclee
    Serverless无服务器云函数
  • InnoDB 事务加锁分析

    一般大家对数据库事务的了解可能停留在事务的ACID特性以及事务4种不同的隔离级别层面上,而对于事务 4 种不同隔离级别如何实现了解相对较少。

    2020labs小助手
    MySQLSQL数据库MVCMVCC
  • FutureTask 核心源码解析

    研究源码,一般我们都从整体以及实例先入手,再研究细节,不至于一开始就“深陷其中而"当局者迷".

    JavaEdge
    HTTPJava
  • 200行代码落地人脸识别开锁应用

    2019年国庆,帮朋友实现了一个人脸识别进行开锁的功能,用在他的真人实景游戏业务中。几个月来运行稳定,体验良好,借着这个春节宅家的时间,整理一下这个应用的实现过程。

    高树磊
    人脸识别图像处理
  • 滑动验证码攻防对抗

        在业务安全领域,滑动验证码已经是国内继,传统字符型验证码之后的标配。众所周知,打码平台和机器学习这两种绕过验证码的方式,已经是攻击者很主流的思路,不再阐述。冷渗透介绍的是一个冷门的绕过思路和防御方案。这些积累,均来自于实战之中,希望有用。

    周俊辉
    HTTP网络安全安全网站
  • 程序员进阶必读,万字总结Mysql优化精华篇

    price decimal(8,2)有2位小数的定点数,定点数支持很大的数(甚至是超过int,bigint存储范围的数)

    程序员内点事
    全文检索缓存SQL数据库Python
  • 运维转型 | 运维人不再只是“救火英雄”

    各行各业都开启了数字化转型的进程,运维团队在这种时代的浪潮中又该何去何从?我在帮助一些企业落地了运维技术平台之后,开始反思这个问题,并将所思所想整理成本篇文章。

    嘉为科技
    企业运维自动化云计算

扫码关注云+社区

领取腾讯云代金券