首次大规模应用！腾讯自研AV1编码器落地全民K歌
随着用户对高质量视频的需求不断增加，视频内容不断向超高清、高码率的方向发展，面对不断增长的成本，新一代视频编码技术的落地应用对平台变得尤为重要。作为老少咸宜的音乐娱乐社交平台，全民K歌APP中视频化内容在平台占比逐年增加，巨大的带宽成本同样给K歌团队带来了不小的压力。
为了应对这个挑战，全民K歌通过落地前沿技术和精细化运营，让AV1的视频播放量提升到总体播放量的60%左右，码率降低了约59%，极大的降低了相应成本，提升了用户播放体验。
下面就让我们一起看看全民K歌是如何通过腾讯领先的媒体处理能力结合自身运营动作，实现降本增效的吧~
落地腾讯自研TXAV1编码器
比行业同类编码器压缩率提升11%
目前市场上，编码格式有多种选择，包括H.265、AV1等，全民K歌技术团队在综合了考虑压缩潜力和解码兼容性， 最终选择了AV1。
压缩效率方面，在对齐视频质量的情况下，AV1相对于H.265约有20%左右的压缩率提升。在解码兼容性方面，随着苹果公司A17芯片对AV1硬解的支持，目前几乎所有厂商在最新的旗舰芯片中都集成了AV1硬解码能力，同时AV1软解码的消耗相对于H.265的增长并不大。
“我们相信AV1将会成为未来几年收益最大的视频编码标准，它能降低全民K歌的流媒体带宽，提升视频播放的流畅度，并且AV1标准专利政策友好，专利风险小。”全民K歌技术团队成员表示。
除了效果更优外，促使全民K歌技术团队选择AV1编码格式的另一个重要原因是其AV1转码使用了腾讯自研的TXAV1编码器。TXAV1通过对底层数据依赖、模式选择、编码单元并行和码率控制等视频编码核心技术的深入优化，在2021/2022年的MSU比赛中取得AV1赛道中连续获得总计29项指标中的28项最佳，相比SVT、AOM等开源编码器优势明显。对比开源最佳AV1编码器SVT-AV1-1.7，TXAV1能帮助全民K歌获得7~11%压缩率提升的同时取得69%的提速，在压缩率相当时可以取得11.4倍的提速。
全民K歌落地TXAV1时，主要通过三个方向来提升压缩率：第一，预测效率提升，把参考帧管理和运动估计做到更准确；第二，全维度自适应量化优化，包含帧级、GOP级、块级的QP优化；第三，数据率失真模型优化，一个标准有许多模式，如何做到最优模式的选择，主要依靠高准确率的率失真模型。而编码速度的提升主要源自TXAV1长期打磨的高效率内存访问、数据并行和快速算法设计（如下图所示）。
此外，全民K歌还在一些需要的场景下，将TXAV1配合极速高清技术一起使用，可以对画面做修复和增强，可以根据画面内容自适应压缩参数，实现在更低码率的情况下让视频更清晰。
考虑到当前支持AV1硬解码的新芯片还在普及过程中，全民K歌的主要流量来自移动端，移动端目前的硬解码支持率还比较低，为了更快落地AV1，全民K歌在APP中添加了对AV1软解的支持。
全民K歌技术团队介绍到：“解码器的选型上主要调研了腾讯自研的txav1d和开源的dav1d，在CPU和内存占用指标上txav1d好于dav1d，CPU消耗和H.265软解相当，因此全民K歌在线上选择使用txav1d作为首选解码器。”
构建高效服务策略
提升全民K歌用户体验
先进的技术还需要配合精细的业务策略支持。AV1编码虽然能降低文件大小、减少带宽成本，但同时也会引入额外的转码成本。如果一个作品播放量很少却进行了AV1转码，那么反而会造成不必要的成本浪费。为此，全民K歌技术团队通过提前播放预测+实时播放数据计算的方式，筛选出预期播放量较高的作品来进行AV1转码。
为了达成这个效果，关键是“如何计算AV1转码的播放量阈值”。播放量阈值概念的引入，主要是确保对超过某播放量的作品进行AV1转码，且转码后带来的带宽成本优化能够覆盖新增的转码成本。
这其中，带宽成本节省的计算一直是一个难点，这里技术团队采用了A/B对比实验的方法，首先预转码一批热门作品，对A组用户下发AV1，另外的B组不下发AV1，同时分别对这两组用户播放这批热门作品的链接进行处理，打上特定的tag参数，最后在CDN侧分别统计两组tag的带宽和播放量，这样就能测算出“转码AV1后单次播放带宽节省量”这个数值。有了这个数值进而就能直接计算出AV1转码的播放量阈值。
全民K歌后台转码架构
对于AV1转码的码率选择，全民K歌技术团队选择了基于VMAF分数的码率自适应(CAE)方案，相当于固定了转码的画质损失，来根据画面内容自适应码率，目前可以做到在CAE下的VMAF[-1,1]区间85%的准确率。CAE的目标VMAF分数是通过开展不同视频场景下的AB实验，通过QoE指标来选择适合各个场景的CAE目标VMAF分数，从而在画质、流畅度和成本之间寻找平衡。
实际上，目前很多视频厂商都会为同一个视频提供多个分辨率和多个码率的视频版本，根据用户的网络情况来自适应下发合适的版本。
对此，全民K歌技术团队成员表示：“我们也考虑过这种方案，但考虑到全民K歌以UGC类型的唱歌视频为主，且大都是在手机端播放的中短类视频，再加上国内用户网络条件好，AV1视频本身码率已经较低，使用多码率版本我们评估收益不会很大，反而会增加额外的存储，文件版本更分散也意味着PCDN等策略的分享率降低，从而导致总体成本升高。因此我们进行AV1转码时对大部分视频只会保留一个QoE指标最优的版本。对于转出来的AV1视频，我们有对应的热度下降自动过期策略，保证AV1转码引入的额外存储成本可控。”
由于软解性能和客户端的机型关联很大，需要在大规模上线AV1前筛选出哪些机型软解AV1会有性能问题，否则会影响用户播放体验。
在这个环节，全民K歌技术团队也进行了细分测试：iOS机型较少，可以直接在上线前对低端iOS机型进行系统测试，确定最低能支持到哪个机型；Android存量机型较多，新增机型也很多，全部系统评测不太现实，因此全民K歌技术团队使用了一种天梯分粗划线+机型黑名单的策略来筛选AV1解码有性能问题的机型。该团队首先对天梯不同分段的代表机型进行系统测试，确认一个最低的天梯分划线，然后在外网进行小规模的AV1测试，通过收集各个机型播放AV1的丢帧率数据来建立机型播放数据库，最后对统计上丢帧率超过0.5%的机型纳入AV1解码黑名单。
通过这种方式，全民K歌目前实现了Android端80%+的机型可支持播放720P+30fps的AV1视频，不支持AV1的机型降级使用其他编码格式。
播放策略
除了上述的通用技术手段，鉴于全民K歌自身的音乐场景，技术团队对AV1转码做了相应的适配。用户在全民K歌的推荐页播放音乐视频时，客户端通常会自动Seek到该歌曲的高潮片段前。但往往高光时刻起始位置并不会恰好是关键帧，在GOP为250时，在最差的情况下客户端需要往前回溯下载额外248帧才能解码当前帧，影响用户的起播体验，也浪费了用户流量。由于事先知道该歌曲高光时刻的位置，因为在进行AV1转码时会在高光时刻重新计算I帧的位置，保证在高光时刻前恰好是I帧，这样用户可以无需额外下载直接起播。
目前在全民K歌内，AV1的视频播放量占总体播放量的比例在60%左右，在成本优化方面，转码后码率降低了约59%，带宽相对于转码后的H.264等下降了42%。在用户卡顿数据方面，使用了AV1后，首次缓冲时间下降了34.4%，二次缓冲比下降了49.4%，得益于卡顿方面的优化，用户QoE数据在使用AV1后也有略微提升，用户的平均播放时长也提升了约0.4%。
而这只是全民K歌AV1体验计划的开始，随着搭载支持AV1硬解码的新手机逐步上市，全民K歌技术团队表示将考虑对硬解码进行评估和测试，硬解码理论上会具有更好的性能和更少的功耗，根据之前H.265硬解码普及的速度来估算，该团队成员预估到2025年底支持AV1硬解码的Android设备将超过50%。
此外，考虑到高分辨率的AV1视频在低端的Android手机上的解码性能较差，全民K歌技术团队表示后续还考虑对高分辨率视频进行分类，对画面内容较简单的视频可以直接将其转码成720P的AV1视频来让更多的用户受益于AV1；对于画面较复杂、降分辨率对画质影响大的视频，可以在转成高分辨AV1视频的同时，提供其它编码格式的视频供低端机型使用。
另外值得一提的是，腾讯云媒体处理（MPS）产品也已基于腾讯领先的自研编码器，在直播、点播、媒体处理、RTC等全产品矩阵端到端支持AV1/H.266视频编码标准，并推出了专有云及CODEC SDK服务，帮助更多企业像全民K歌一样，享受到AV1/H.266等新一代编码标准带来的便利，助力各行各业在带宽和算力上“降本”，在画质表现上“增效”！
欢迎扫描下方二维码添加音视频小姐姐微信，与腾讯云产研团队直接沟通，了解更多详细信息。
腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备腾讯云RT-ONE™全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代，提供坚实的数字化助力。