技术解码丨腾讯云视频超分辨率技术

随着信息技术的高速发展和泛娱乐时代的来临， 视频应用遍布人类社会生活的方方面面，视频的内容和质量也越来越受大家关注，其中帧率、分辨率和码率是影响视频质量的最主要因素。高分辨率的视频能提供更多的细节、更清晰的画面和更好的观看体验，因此提升视频分辨率，对于提升视频质量和用户体验有很大的帮助。

超分辨率技术，是通过硬件或软件的方法提高图像或视频帧的分辨率， 通过一系列低分辨率图像获取到高分辨率图像的过程。超分辨率技术不仅可以应用在一些低分辨率的老片和手机拍摄的不清晰场景中，也可以对多次压缩的一些新电影进行恢复， 提高这些视频质量，给客户更好的观看体验。同时超分辨率技术还可以应用在清晰的视频源中，将视频的分辨率从1080P提高到4K，支持视频在更大的屏幕上播放， 提供更高清的视野。

目前超分辨率技术主要可以分为两类，单图像超分辨率（Single Image Super Resolution,简称SISR）和视频超分辨率（Video Super Resolution，简称VSR）。对于SISR，我们只需要输入一张低分辨率图像就可以获得高分辨率图像的输出；而VSR会利用视频的时间关联性来获得对某一帧的SR。目前对于超分辨率的研究已经持续了多年， 在SISR和VSR上都取得了很多不错的成果， 下图列出了在这两方面做的部分算法研究：

超分辨率技术发展到现在，已经可以在实际场景中进行应用了，为了给客户提供更高清高质的视频，视频云团队推出了一个完备的视频超分辨率解决方案，根据客户不同的使用场景， 选用最适合该场景的模型。

超分辨率技术的使用场景主要可分为直播场景（实时超分）与点播场景（离线超分）， 直播场景对实时性要求较高，要求超分算法效果稳定且有比较高的性能，因此我们在直播场景中主要采用的是SISR中的残差网络算法，并对于实际工程运用中遇到的问题，如压缩算法带来的压缩失真：块效应、马赛克、边缘毛刺、重影等进行了处理， 提升了超分网络的噪声抑制能力。下面是直播超分在游戏直播中的效果图，可以看出超分辨率技术确实大幅度的提升了直播内容的清晰度：

而在点播场景中，我们使用的是一种基于光流生成对抗网络的VSR超分算法， 利用了视频的时间关联性，可以明显的细化边界、增加细节，同时保持视频序列帧间的一致性。

基于光流生成对抗网络的超分算法，它的基本模型结构如下图所示：

该算法由一个光流生成器网络和时空判别器网络组成。训练过程中，超分网络和光流估计一起训练，在不断的对抗中欺骗时空判别器。时空判别器同时也在优化，形成相互博弈，时空判别器是重要组成部分，因为它既考虑图像内容又考虑帧间差异，同时兼顾时空信息，并对帧间不连贯性进行惩罚，使得超分网络不断生成与之前帧连续的高频细节。通过这个算法，我们训练出了一个泛化能力强的超分模型，具有降噪、画面加清、细节增强的能力。下面是几组我们在实际应用中的效果范例：

综上所述，目前腾讯视频云团队已经提供了一个比较完备的视频超分辨率解决方案，能够很好的应用在实时和离线的场景中，提高视频的分辨率， 给予客户更高清的视野和更好的观看体验。在这里也要感谢腾讯多媒体实验室在这方面的支持和帮助。

目前视频超分辨率技术已集成至腾讯云智能编辑产品中， 详情可扫描二维码了解。

配合其他服务为直播、点播平台以及媒体行业提供稳定高效的“媒体质检”、“画质重生”和“编辑理解”基础能力，实现视频内容生产降本增效，可为客户实现1080P/60FPS、4K/120FPS实时插帧、超分，为电竞赛事、综艺节庆大型直播活动带来用户畅爽的大屏观看体验。

腾讯云通信

一直致力于

让每个企业

都享受智慧服务带来的改变

END

未来可期

长按扫码关注腾讯云通信官方微信公众号

以获取更多更专业的云通信知识