腾讯AVIF技术介绍
前言
2021年8月，腾讯OAV1正式赋能腾讯云数据万象， 为其提供最前沿的AVIF图片压缩技术，在图片主观质量相同的情况下大幅降低码率，节省储存空间。
背景介绍
腾讯云数据万象（Cloud Infinite，CI）是依托腾讯云对象存储的数据处理平台，涵盖图片处理、内容审核、内容识别、媒体处理、文档服务等功能，能够实现对云上的图片、视频、音频、文档等数据的处理，为客户提供专业一体化的数据处理解决方案，满足客户多种场景维度的需求。作为腾讯云集大成的数据处理产品， 很早前便推出了图片压缩服务 [1]。
数据万象的图片上传和存储服务基于对象存储（Cloud Object Storage，COS），可通过 COS 的上传和接口的处理这两种方式来管理文件。支持图片旋转、裁剪、转码、缩放等图像编辑功能，让图片修改更灵活化。能针对存储桶中的图片进行AVIF、HEIF、WebP、TPG等格式的转换压缩。相比于传统的JPEG压缩技术，他们能在拥有更强大的压缩功能的同时保留图片的细节。其中AVIF是数据万象集成的最新图片压缩能力，它的对比效果如何呢？让我们一睹为快。
图1 数据万象图片压缩效果对比图
图2 AVIF与其他图片格式的对比
对比以上压缩图[2][3]，不难看出，在图片质量相似的情况下，AVIF格式的图片大小具有绝对优势。AVIF图片压缩技术可以在几乎不改变图片质量的情况下大幅降低图片大小，方便传输、节省流量。
AVIF压缩格式
AVIF （AV1 image format）压缩格式，是采用AV1帧内编码的一种图像编码格式，是目前最新的图片压缩格式。AV1是由开放媒体联盟（AOMedia） 的成员共同推动研发的一个标准。AOM（开放媒体联盟）成立于2015年，是一个发展开放视频编码的非盈利组织，其目标是开发免专利的影像编码格式。AOM于2019年正式发布了其第一个开源、免版权费的视频编码格式AV1。作为VP9下一代标准的AV1，其目标是解决H.265昂贵的专利费用和复杂的专利授权问题，并成为新一代领先的免版权费的编码标准。AVIF同时提供了一个开源、免版权费、 具有更高压缩能力、保留更佳画面细节的图形压缩格式 - AVIF。相比于以往图片压缩技术，除了开源和免版权费这两大亮点外，AVIF压缩格式还因具有以下几项优势而被行业广泛关注：
- 大幅减少网页下载时间，相对于JPEG、WebP, 节约超50% 带宽；
- 支持HDR （可同时支持8，10，12比特图片），JPEG只支持8比特；
- 可同时支持有损和无损压缩；
- 支持电影颗粒以及其他AV1帧内编码所支持的功能；
- 支持包括单色图在内的多种色彩模式；
- 支持多种采样格式，YUV4:2:0、YUV4:2:2、YUV4:4:4;
- 高兼容性，Google Chrome，Mozilla Firefox, Windows 10 等已经支持AVIF，Netflix即将上线AVIF，越来越多公司参与支持AVIF，为其提供强大的生态环境。
AOMedia联盟
AOM联盟包括 Google、Facebook、Intel、Netflix、Microsoft、Tencent 等多家国际著名公司。其中，腾讯是第一家进入AOM董事会的中国公司。自2019年加入AOM以来，腾讯多媒体实验室从多个角度推动AOM研发技术的发展与产品的生态落地。腾讯在开发SVT-AV1的过程中，解决了多个关键技术问题，并在提升其稳定性和汇编优化等方面做出较大贡献。腾讯在AV1开源实现中所做的工作促进了AV1的广泛应用落地，让该技术更好地服务各业务场景，受到社区的认可。腾讯多媒体实验室的标准团队积极推动下一代开源视频编解码标准AV2的研发，腾讯贡献了第一个被AV2采纳的技术提案。截至2021年8月，腾讯贡献的提案数量和图像压缩性能位列全球第一，视频压缩性能的贡献全球前二，后续也会持续发力维持国际领先地位[4]。
AV1编码技术
AV1 编码预测包含帧内预测和帧间预测，AVIF是帧内预测的一种应用。AV1的帧内预测相对于以往的编码标准主要有以下几点提升。
- 针对包含方向性的图像纹理，AV1采用了比VP9（10种）更多的帧内预测方向[4]。AV1共支持56种预测方向，包含8个主方向和每个主方向所含的6个额外方向（在每个主方向两侧以3度为步长生成）。在此基础之上，AV1所采用的递归滤波预测（recursive filtering）能够进一步优化预测像素在块边界上的准确性。
- 针对平滑的图像纹理，AV1新引入了3种平滑预测模式以及PAETH预测算子，可利用相邻像素来预测当前像素。
- 针对不同图像色度与亮度之间的相关性，AV1采用了CfL模式（Chroma from Luma)。该模式可利用亮度分量和色度分量的线性关系，通过亮度分量预测色度分量。除此之外，AV1还引入了调色板模式（Color Palette）和帧内块匹配模式（Intra Block Copy），相比于传统预测模式，这两种模式能够针对屏幕图像（Screen content）的特性进行更为高效的预测[5]。
AV1 vs. HEVC
下面让我们看看，相比于HEVC，AV1在帧内编码的性能上有何提升。下图分别展示了AV1与HEVC两种编码标准在UHD和HD视频上的帧内编码性能， 相比HEVC，在保证图像质量基本一致的情况下，AV1在UHD和HD两类视频上的压缩率有大幅度提高，相比于HEVC可提高14.46% 。
图3：AV1, HM-16 编码器UHD帧内编码性能对比
图4：AV1, HM-16 编码器HD帧内编码性能对比
OAV1 - 腾讯AV1编码器项目
2019年7月，在腾讯加入AOM前的三个月，多媒体实验室启动了腾讯AV1编码器项目 (OAV1)， 并支持腾讯云成为了中国第一家支持AV1的云服务商。迄今为止，OAV1已更新至v0.6 版本，支持HDR与1080p30的实时转码，OAV1赋能腾讯云数据万象。下图是OAV1与其他两开源AV1编码器的性能对比， 从图中可以看出，相较市面上已有的其他开源AV1 编码器，OAV1在压缩能力和速度上都具有较大优势 [4]。
图5：OAV1, libaom, SVT-AV1 编码性能对比
结语
AVIF 借助AV1帧内预测的新技术，不但可以解决图片在保存、传播、下载过程中的成本和效率问题，还可以在保证更高压缩性能的基础上保留更多的图像细节、支持更多的图片种类、传递更多的图片信息，大大提升用户体验。同时，作为开源技术的AVIF，已获得AOM联盟内包括Google、Microsoft等在内的多家国际著名公司的支持，Netflix、Apple也计划提供支持。相信AVIF压缩技术未来可期！
参考文献
[1]https://cloud.tencent.com/document/product/460
[2]https://km.woa.com/group/50209/articles/show/482999?kmref=search&from_page=1&no=1
[3]https://km.woa.com/articles/show/519623?kmref=discovery
[4]https://km.woa.com/articles/show/519046?ts=1630036264
[5]https://km.woa.com/group/29800/articles/show/397428?kmref=search&from_page=1&no=1
[6]https://km.woa.com/group/29800/articles/show/403895?kmref=search&from_page=1&no=2
请随时与我们联系并分享您的需求：
腾讯多媒体实验室
jeffreyye@tencent.com
作者：张意晗
编辑：张意晗
