快手行业首发云端渲染系列技术 助推5G大规模商用

今日，快手在2020年中国国际数码互动娱乐展览会（简称ChinaJoy）上，率先发布了基于5G网络的云端渲染技术。该技术以短视频业务场景为依托，为用户提供了趣味性的体验。本次快手提供了驯龙高手、二次元变身两项展示。这两项展示具备沉浸感强、体验效果逼真的特点，受到了广大参会者的追捧。

本次快手展示的云端渲染技术，充分发挥5G高带宽、低延迟的优势，释放云端强大的计算能力，克服本地算力不足的缺点，达到云端实时渲染、5G低延迟传输、本地即时展示的目的。

图为驯龙高手应用效果示意

为了给用户提供好莱坞级别的视觉体验，驯龙高手综合应用多项自研技术，包含基于物理的实时渲染（Physically Based Rendering）、对真实世界的仿真物理模拟、基于体素的流体建模与渲染系统、大规模GPU粒子系统、YCNN推理引擎。多项先进技术和大量次时代资源的使用，导致本地设备无法提供足够的算力与存储空间。而5G技术的到来，使云端模拟成为可能，解决了上述问题。百万面同屏、真实光影效果、华丽的粒子特效、纤毫毕现的毛发模拟、逼真的交互体验、高精度的AI推理，画面流畅细腻、特效精致震撼，为短视频特效行业树立了标杆。

图为二次元效果对比图

二次元变身是基于CycleGAN、UGATIT等框架而实现的，快手在实践中对于算法鲁棒性、模型效果、数据准备效率、时序稳定性等进行了优化和升级。服务端的全图二次元技术，支持人像、背景、多人效果。通过端云协同的技术方案，服务端运算的结果以直播下发的方式展示，为用户提供更清晰、质感的二次元转换。

为了更好的适配5G网络，快手音视频部门自研了网络传输协议和实时编解码技术，采用快手自建的SDN网络，通过基于UDP协议的高清视频低延时通信技术，实现本地采集视频云端处理的实时回显。把用户在手机上采集到的视频实时发送到云端，利用服务器强劲的硬件资源进行渲染，再把渲染结果实时发送到用户手机进行显示。

快手云端渲染系列技术，充分将移动终端与服务器的硬件能力相结合，实现较为复杂的运算，未来将充分挖掘5G网络的应用价值，在视频内容生产、直播、小游戏等应用场景中将发挥重要作用。