什么是视频预处理?

翻译 | Alex 技术审校 | 章琦 本文来自OTTVerse，作者为Krishna Rao Vijayanagar。

预处理

Easy Tech

#006#

视频预处理对商业编码器来说是非常关键的步骤，它包括去隔行、上/下采样、降噪等重要操作。虽然预处理并不是视频编码器和视频编码标准的组成部分，但它会显著影响视频压缩效率，所以理解视频预处理的作用至关重要。

在本篇文章中，让我们一起来了解视频预处理过程中的重要步骤。

去隔行

去隔行处理是一种常规操作：用于输入隔行视频格式，需要输出逐行视频格式时。

隔行视频格式被开发和应用于电视广播制式，比如NTSC和PAL，来自奇场的奇数行和来自偶场的偶数行被交替渲染，先显示奇数行，后显示偶数行。只需渲染得足够快，人眼观看到的将会是完整的图像。

左图为隔行图像，右图为逐行图像（图片来自IBM）

如果你得到一个隔行视频，并被要求输出逐行视频，你就需要做些工作。在这种情况下，你需要将该隔行视频中的顶场和底场交错排列，通过使用去隔行滤波来消除失真，然后发送给编码器。

或者，你也可以简单地复制奇偶场中的行（也被称为“bobbing”）。

在过去几十年中，去隔行获得了广泛研究，并出现了很多优秀的产品和算法供你选择使用。无论选择哪种算法，都必然会遇到Combing artifacts（视频中出现梳状纹理，如下图所示），所以投资好的去隔行器非常值得。

说明：早期的确如此，早期的视频编码器支持隔行视频，不过时至今日，隔行视频源已经越来越稀少，自HEVC以后的视频编码器没有再支持隔行视频，去隔行算法的重要性也不复过往。

Combing Artifact

图像重采样

在视频编码器中，图像重采样是预处理的常见步骤。比如，如果你输入的视频是1920x1080p@60fps，然后你想输出640x480p@60fps的视频，那么在将视频发送给编码器前，你就需要调整帧的尺寸。

图像重采样在OTT视频压缩流程中非常常见，因为码率表中对应有几种不同的分辨率。

将输入视频帧转换为不同分辨率

那么如何调整图像尺寸？最简单的方法就是在调整过程中舍弃不需要的像素或者添加新的像素，但这样做会形成令人讨厌的视觉失真。

现代编码器和视频预处理器在图像尺寸调整过程中会使用精心研究过的滤波器，比如bicubic、bilateral、trilateral、gaussian或者lancsoz等。

帧率转换

假设你输入的视频分辨率为1920x2080p@60fps, 你想要一个30fps的输出，这时你将用到转换帧率的算法。

帧率转换是双向的：如果是从高帧率转换为低帧率，你需要舍弃每个第n帧，如果是从低帧率转换为高帧率，你就需要添加帧。

当你通过填充帧或者重复帧来提升帧率时，一定要小心避免造成视频失真。只有这样，你才能让视频看起来正常，而不是像个卡通片。实际上，帧率转换是一个丰富且精彩的研究领域。

去噪声

编码器通常拥有自己专有的降噪算法，这些降噪算法会在压缩视频之前对视频进行处理。通常情况下，使用了高斯（gaussian）降噪滤波器会使图像变得平滑，有时会有利于提升压缩效率。

场景变化检测

对于高效的视频压缩而言，压缩视频时知道视频中场景何时变化十分重要。

如果你了解预测，你就会意识到在两个完全不同的图像之间预测或者寻找相似性是无用的，这就好比在一黑一白图像中找相同之处，你将一无所获。

因此，就需要检测视频中场景变化的位置——这样你就无需再尝试做运动估计。

注意：如果你还没有理解这个概念，先不要着急。当你在阅读完一系列关于预测和运动估计的文章后，自然就明白了。

总 结

显然在视频预处理过程中还有很多算法和功能，但我今天就讲到这里。我之所以介绍视频预处理，是想告诉你预处理的重要性以及其中的创新空间有多大。

任何读到本篇文章的人都可以自己写一个高级的场景变化检测算法、降噪滤波器、或者帧率转换器，将其贡献给开源编解码器社区，说不定会让整个行业为你大吃一惊哦。

致谢

本文已获得作者Krishna Rao Vijayanagar授权翻译和发布，特此感谢。

原文链接：

https://ottverse.com/video-preprocessing-in-encoders/