如何解决视频条带化的问题（上）

Photo by Tomas Sobek on Unsplash

本文来自NTT Data的多媒体架构师Fabio Sonnati的博客，对VMAF存在的问题进行了说明。LiveVideoStack对原文进行了翻译，他对VMAF中存在的“昏暗场景下的条带化失真（banding或者contouring）确实有评分过高的问题”进行的回应，给出了改进办法。

文 / Fabio Sonnati

译 / 元宝

原文 https://sonnati.wordpress.com/2020/01/12/defeat-banding-part-i/

在上一篇文章中，我们讨论了当前视频编码的主要敌人：“条带化失真”。

条带化失真可能是多种设想情况下的量化结果，尤其是当源视频包括渐变或低功耗（lowpower）纹理区域，并且CAE（内容感知编码）算法使用了过多的QP时。

如果使用8位编码，那么条带化失真则会更为频繁地出现；即便使用10位编码，条带化失真也不可避免；即使是在高质量源文件或夹层（Mezzanines）文件中，如果其进行过许多编码处理，条带化失真也会出现。

基于现代块的编解码器都容易出现条带化失真。实际上，我发现H.265、VP9和AV1比H.264更容易出现条带化失真，这是由块转换更宽造成的（这也导致YouTube和Netflix视频中的条带化失真增加）。

正如上一篇文章中讨论的那样，条带化失真容易出现的原因是其非常细微且难以量化。像PSNR、SSIM甚至VMAF等指标，即使对于普通观众而言，至少在最佳的观看条件下也很容易感知出不同指标下画面的差异，但观众对条带化失真的识别并不敏感。

以下是条带化的示例：

可以看到，上图电影画面中墙的位置有条带失真。

当条带的“边缘”连贯移动，就会形成足以引起观众察觉但却令画面观感舒适度大打折扣的失真，也就是画面的背景处显示排列一致的条带失真，尤其是对于激烈运动的画面。下方图片直观展示了如果我们进一步提高画面的Gamma值（灰度），条带失真将会更加明显。

提高图片的灰度并放大，可清晰看到画面上有条带出现。

如何避免条带化失真

首先，要防止条带化，就必须对条带进行识别。这本身就是一个复杂的问题。

最近，我试图找到一种方法（有很多不同的方法），用以识别侦测分布在视频画面特定部分的，人眼可察觉到的且会影响画面观感的条带失真。

我正在使用的是一种自相关方法，其得出的初步结果令人出乎意料。此“条带度量”仅分析压缩后的最终画面，而不引用分析源文件（如果使用夹层或源，相对于压缩后的画面，条带失真更不易察觉）。

例如：这里有一个简短的视频序列。当用户以最佳观看条件观看该画面时，可以在平坦区域上看到这些条纹，尤其是那些低光区域（也许用户可以在背景中发现熟悉的人?，所以像往常一样，在后续内容中我将优先呈现那些调高Gamma值（灰度）的帧。

该算法可生成以下逐帧报告：将把画面分成四个象限区域并为每个象限创建条带索引（Q1=左上象限，Q2 =右上象限，Q3 =左下象限，Q4=右下象限）。

下图展示的是Gamma值（灰度）提高的第1帧。由上图条带失真相似度曲线我们可以获知：条带失真相似度较高的区域大多分布在Q2区域。目前，我尚未就人眼对条带失真的感知可见情况计算出合适的阈值，但根据经验来说，该阈值接近0.98（条带失真相似度曲线图的水平红线）。因此，在此帧里不太可能出现人眼可明显感知的条带化失真，Q2区域的可能性很小。

第1帧

下图所示的第173帧中，条带失真的数量显著增加，尤其是在Q1区域。Q2区域（在树和天空上）也是如此。由条带失真相似度曲线图可知：Q1和Q2中画面出现人眼感知可见条带失真的概率显著增加并处于阈值上方，而Q3和Q4则低于阈值。

第173帧

下图展示的是改变画面场景之后的第225帧。对于新场景，条带失真相似度曲线表明Q1和Q3象限出现条带失真的可能性很高。Q2的曲线出现了明显振荡（画面中的手在移动，而黑色部分出现了条带失真），但Q4则完全不受条带失真的影响。

第225帧

初步结论

条带失真的识别和量化至关重要，因为如果可以找到条带失真区域，则我们可以就此调整编码算法以更好地保留细节并避免画面出现这种令人讨厌的伪像。分析失真的来源并在发现任何条带失真时加以优化解决对于提升视频的观看体验而言不可或缺，否则任何其他的后续编码只会使问题变得更糟。击败条带化失真的旅程才刚刚开始……祝大家好运?