Firefox年内将默认启用AV1解码

在刚刚结束的NAB大会上，资深多媒体技术咨询师Jan Ozer对Mozilla Daala主管Nathan Egge进行了访谈，谈及了Daala Codec的发展历程，如何躲避专利陷阱、AV1的性能预期及Firefox对AV1和HEVC的支持。LiveVideoStack对访谈进行了摘译。

文 / Jan Ozer

翻译 / 金歌

审校 / Ant

Jan Ozer:我们将谈论一下Mozilla团队是如何为AV1编码器的开发及其性能提升做出贡献的，以及Firefox浏览器将于何时起支持AV1解码功能。 能否谈一谈AV1编码器中的哪些部分是基于Daala编码器的呢？

Nathan Egge:主要有三部分是基于Daala编码器的。目前我们已经完成了基于亮度的色度预测器、多符号熵编码器，还完成了限制式定向增强滤波器的一部分。

Jan Ozer: 不妨先介绍一下Daala，说说在您们加入AOM联盟时Daala的开发情况。

Nathan Egge: Daala是Mozilla致力于开发的一款专利费的视频编码器，我们对其投入了三年时间进行开发，由2012年起直至2015年AOM联盟成立，当时我们已经得到了非常不错的成果。Daala在对某些测试片段的处理上，以及在某些使用案例中都是很有竞争力的。AOM联盟成立之初的宗旨是汇集众公司的资源，我们视其为一次应用Daala编码技术的契机，并最终将其转化为AV1编码器。

Jan Ozer: 你们想谈一谈Daala的开发以及相关专利情况么？我知道（由于保密原因）你们不能提到与AV1有关的内容。人们都说，当今无法在不侵犯他人专利的情况下开发一款编码器。你们是怎样在Daala的开发周期中确保专利问题没有对其造成影响的呢？

Nathan Egge: 为开发Daala，我们全面考察了相关专利，并且发现某些技术领域可能会涉及到大量专利。在进一步了解了最新技术后，我们选择了另辟蹊径（与其不同的技术设计）。例如，在Daala中使用了重叠变换（lapped transform），这一变换未曾在其他视频编码器中使用过。经过深入研究，我们设计出了利用重叠变换进行视频压缩的理论方式，并由此引申出了一系列相关技术研发以实现这一理论。从知识产权的角度来看，这一技术设计没有侵犯到任何已有专利。

Jan Ozer: 组成开放媒体联盟的众多公司各自都有与编码器相关的专利。比如微软有VC-1和WMV技术（的专利）。你们似乎是基于这些相关专利而有意挑选了这些公司，以便促成免版税视频编码器的开发。

Nathan Egge: 我并不认为我们有意挑选了这些公司，但我们确实对相关技术进行了筛选。（AOM联盟）所有成员公司都有着同样的初衷——实现视频的免版税化，每个公司都贡献了各自的技术来构成AV1编码器的代码库。

Jan Ozer: 那么目前AV1编码器的表现如何呢？大家都很好奇AV1编码器的性能比HEVC编码器的性能高出多少。它的编码时间大概需要多久呢？解码过程对CPU的负荷有多大？

Nathan Egge: 关于编码器的具体表现，目前已有诸多组织对其进行了独立的研究测试，我记得莫斯科州立大学1月时曾发布过一些相关的测试结果，结果表明我们的（编码器）表现优于H.265和VP9约30%。事实上他们在四种编码器之间进行了比较，并且基于多种不同的配置进行了测试。

至于编码时间，它会因受到CPU使用率的影响而变化。由于目前我们的编码器是基于开发中的代码库，还未进行大量的代码优化，其编码时间相比VP9编码器要慢50倍到200倍左右。

Jan Ozer: 你能对一年后编码器的表现做一个展望吗？

Nathan Egge: 编码器的表现一定会更好。作为AOM联盟的一部分，我们正致力于开发视频会议的实时编码功能，以及类似的相关功能。所以我确信近期我们将会对编码器进行优化，以便实现实时视频编码。这对于我们来说是一个重要的应用场景。

Jan Ozer: 莫斯科州立大学曾评论说他们所使用的代码库实在太旧了。他们的AV1代码库是何时获取的呢？

Nathan Egge: 他们的代码库是2017年6月获取的。其实那时候我们已经取得了许多进展，大幅提升了编码器的表现。我可以预想到，基于目前的代码库，新的研究测试结果将会证明我们的编码器的表现仍能以30%优于其他现今使用的编码器的表现。

Jan Ozer: Bitmovinb在Bitmovinb博客上开展了一项关于比较HEVC和AV1编码器的调查。相比于VP9来说，AV1解码对于CPU的负荷有多大呢？需要多么强劲的解码器才能对其进行播放呢？

Nathan Egge: 我没法说出一个确切的数字，但就目前Bitmovin这里展示的测试版来说，在那些常见的在笔记本上可以实时在浏览器中播放1080p的内容。

Jan Ozer: 这是一台戴尔品牌的笔记本，并不是功能特别强劲的型号。

Nathan Egge: 50%的CPU使用率。

Jan Ozer: 这是1080p的。我之前看过一个基于更早的测试版的展示，当时对于播放器的要求比现在要高得多，而且还是以480p分辨率播放的。你们已经大幅提升了解码方面的效率。

Nathan Egge: 实际上从之前那个测试版开始，我们便不断在取得新的进展。我们一直致力于减少内存占用，同时对其他模块进行了大量优化（为其他工具提供transforms优化）。

Jan Ozer: 我们已经了解了编码器本身的很多细节，那么解码方面的进展如何呢？我知道你们并不属于Mozilla Firefox团队，何时AV1解码功能会在Firefox以及其他浏览器是实现？

Nathan Egge: 现在已经可以下载到支持AV1解码功能的Firefox了。目前是基于一个比较旧的AOM库中的hash函数，我们正在将其升级为一个更新版的hash函数。与此同时，我们还在增加（AV1解码器）对FLAC格式的支持，最终AV1解码功能将会以默认禁用的形式出现在Firefox的主流版本中，直到AV1编码器得到广泛支持（之后再调整为默认启用）。

Jan Ozer: 你预计何时AV1解码器会得到广泛的支持呢？

Nathan Egge: 我相信今年底AV1解码器就会出现在众多产品中了，并且到年底Firefox一定会默认启用AV1解码功能。

Jan Ozer: 那么HEVC解码功能何时会出现在Firefox浏览器中呢？

Nathan Egge: 希望是永远不会吧。

WebRTCon 2018

WebRTCon 2018将于5月19-20日在上海光大国际会展中心举行，这是一次对过去几年WebRTC技术实践与应用落地的总结。

大会组委会以行业难点为目标，设立了主题演讲，WebRTC与前端，行业应用专场，测试监控和服务保障，娱乐多媒体开发应用实践，WebRTC深度开发，解决方案专场，WebRTC服务端开发，新技术跨界，WebRTC与Codec等多个专场。邀请30余位全球领先的WebRTC技术专家，为参会者带来全球同步的技术实践与趋势解读。

WebRTC与Codec

从VP9、H.264、HEVC、AV1再到AVS2，WebRTC正在努力和业界主流的Codec整合、优化，Google 软件工程师Zoe Liu、北京大学教授王荣刚、Google软件工程师姜健、英特尔实时通信客户端架构师邱建林将分别介绍AV1、AVS2、VP9和H.264的优化和演进。