[强基固本-视频压缩] 第五章：HEVC中的后处理

用户1324186

发布于 2024-02-29 16:10:53

2230

发布于 2024-02-29 16:10:53

文章被收录于专栏：媒矿工厂

标题：Post-processing in HEVC 链接：https://www.elecard.com/page/post_processing_in_hevc 整理人：陈予诺本文是对 ELECARD Video Compression Book 第五章的翻译，本章节主要介绍如何对解码图像实施后处理，以减少HEVC中量化效应的影响。

HEVC中的视频帧处理流程

HEVC算法旨在对视频帧进行块处理，以消除视频数据中的空间或时间冗余，本质上是通过对被编码块中的样本值进行预测来消除冗余。帧内预测主要进行空间处理，涉及从相邻块的像素值中预测当前块内的像素值，帧间预测通过使用先前编码帧的图像区域进行预测来消除时间冗余。残差信号，即编码图像与预测图像之间的差值，经过离散二维傅立叶变换（DFT），得到的频谱系数按级别进行量化。在最终编码阶段，量化后的频谱系数值序列与相关的预测、频谱变换和量化信息一起进行熵编码。编码器中的空间和时间预测使用解码图像进行，这确保了编码器和解码器之间的预测结果相同。解码过程包括对频谱系数进行反量化和进行逆离散傅立叶变换（IDFT），恢复的差异信号被加到预测结果中。

编解码过程可能会显著扭曲原始图像。当频谱系数被量化时，就会引入失真。HEVC标准提供了一种选择，对解码图像应用额外的后处理，以减少量化效应。这种后处理可以包括去块效应滤波器（deblocking filter, DBF）和取样自适应偏移（Sample Adaptive Offset, SAO）过程。

HEVC中的视频图像后处理算法——去块效应滤波器

第一个后处理阶段，去块效应滤波器，旨在减少边缘效应（也称为块效应）。在编码过程中，每个视频帧被分成大小相等的正方形块，称为最大编码单元（Largest Coding Units, LCU）。每个LCU可以分成四个正方形编码单元（Coding Units, CU），每个CU又可以分成四个更多的CU。这些划分形成了一个CTU（Coding Tree Unit）四叉树。在编码过程中，CTU中的最低级CU会被划分为称为预测单元（Prediction Unit, PU）的块。

之后，对从正在编码的图像减去预测结果得到的2D差异信号应用2D频谱变换。频谱变换矩阵的大小由变换单元（Transform Unit, TU）的大小确定。HEVC规定了4种可能的变换单元大小：4×4、8×8、16×16和32×32。频谱系数的量化导致了解码图像中的块效应，这在下图中清晰可见。该图显示了在应用去块滤波器之前的解码图像的一部分。由于明显的原因，这种效应会同时在PU和TU边界处显现。

去块效应滤波过程修改了位于变换单元或预测单元垂直和水平边界线附近的像素值，这些边界线形成了一个间距为8像素的等距网格。滤波首先应用于垂直线，然后应用于水平线。

在进行滤波之前，为每个4像素线段选择一个边界强度（Boundary Strength, BS）参数值。该值由用于线段两侧图像区域的预测模式确定。如果其中至少一个是使用帧内预测编码的，则为BS分配数值2。如果两个区域都是基于先前编码图像的一个连续区域进行互预测的，则该线段的BS参数值为0。否则，BS等于1。在BS = 0的4个像素段周围的区域被排除在滤波之外。

下一步涉及选择滤波器类型以及要进行滤波的区域的宽度和位置，这里的标准是左右边界周围的3×4像素表面与平面偏离的程度。让我们通过使用传统符号分析靠近垂直线段的图像区域来考虑选择过程的示例。

如果区域P位于边界的左侧，并且第零线和第三线的样本强度值在水平坐标（距离边界的距离）上表现出近线性依赖关系，则被认为是“足够平坦”的。

p_{x, 0} \approx a_0 \cdot x+b_0, p_{x, 3} \approx a_3 \cdot x+b_3 \quad (1)

在这里，

x=0,1,2

代表水平坐标。与线性关系的接近程度通过在

x=1

和

x=0

点处的斜率差来估计，即通过

d p_0=\left|\frac{p_{2,0}-p_{1,0}}{2-1}-\frac{p_{1,0}-p_{0,0}}{1-0}\right|=\left|p_{2,0}-2 p_{1,0}+p_{0,0}\right|

来计算样本的上行，以及通过

d p_3=\left|p_{2,3}-2 p_{1,3}+p_{0,3}\right|

来计算样本的下行。对于位于边界右侧的区域

\mathrm{Q}

，相应的数量

d q_0

和

d q_3

也会被计算：

d q_0=\left|q_{2,0}-2 q_{0,1}+q_{0,0}\right|, d q_3=\left|q_{2,3}-2 q_{1,3}+q_{0,3}\right| \quad (2)

根据将各种组合的量

d p_0, d p_3, d q_0

和

d q_3

与相应的阈值进行比较，决定要使用的滤波器类型以及在边界附近平滑的区域的宽度和位置。阈值是从标准中以表格形式指定的

\beta(Q p)

和

t_C(Q p=2(B s-1))

的值获得的，其中每个量化参数

Q p

的值确定了频谱系数的量化步长,表中的

t_C

阈值的索引包含BS参数。

当边界附近的样本强度变化很大，即下列条件未满足时：

d p_0+d q_0+d p_3+d q_3<\beta \quad (3)

将要平滑的区域的宽度设置为零，并且边界附近的像素不被处理。

另外，当

d p_0+d q_0+d p_3+d q_3<\beta \quad (4)

需要在“强”和“弱”filter之间做出选择。当满足以下条件时：

\begin{gathered} d p_0+d q_0<\beta / 8, \\ d p_3+d q_3<\beta / 8 \\ \left|p_{3,0}-p_{0,0}\right|+\left|q_{3,0}-q_{0,0}\right|<\beta / 8, \\ \left|p_{3,3}-p_{0,3}\right|+\left|q_{3,3}-q_{0,3}\right|<\beta / 8, \\ \left|p_{0,0}-q_{0,0}\right|<2.5 t_{C l} \\ \left|p_{0,3}-q 3\right|<2.5 t_C \end{gathered} \quad (5)

强滤波被应用于边界附近，在这种情况下，要平滑的区域跨越边界线每一侧的3个样本。

强滤波逐行应用，

p_{i j}^n

和

q_{i j}^n

的新值被计算为第

行中样本

p_{i, j}

和

q_{i, j}

的线性组合：

\begin{gathered} p_{k, j}^n=\sum_{i=0}^3 a_{k, i} p_{i, j}+\sum_{i=0}^3 b_{k, i} q_{i, j} \\ q_{k, j}^n=\sum_{i=0}^3 c_{k, i} p_{i, j}+\sum_{i=0}^3 d_{k, i} q_{i, j}, j=0,1,2,3 ; k=0,1,2 . \end{gathered} \quad (6)

其中

\displaystyle i=0,1,2,3

，系数

\displaystyle a_{k,i}

，

\displaystyle b_{k,i}

，

\displaystyle c_{k,i}

，

\displaystyle d_{k,i}

的值，如下表所示。

表 1

当一个或多个条件不满足时，即强滤波不适用时，将计算要滤波的区域的宽度，并逐行验证弱滤波的适用性。要使用弱滤波进行平滑处理的样本数量在区域

\mathrm{P}

和

\mathrm{Q}

中是独立确定的。

如果

d p_0+d p_3<3 / 16 \beta

，则对于

\mathrm{P}

区域中的每一行，最靠近边界的两个样本会改变它们的值。否则，在过滤期间，每行只会改变一个

p_{0, j}

样本的值。

必须在

\mathrm{Q}

区域中验证相应的条件。如果

d q_0+d q_3<3 / 16 \beta

，则对于

\mathrm{Q}

区域中的每一行，最靠近边界的两个样本会改变它们的值。如果不满足此条件，则在过滤期间每行只会改变一个

q_{0, j}

样本的值。

基于数量

\triangle_j

，计算样本

p_{0, j}^n, p_{1, j}^n, q_{0, j}^n

和

q_{1, j}^n

的新值：

\triangle_j=9\left(q_{0, j}-p_{0, j}\right)-3\left(q_{1, j}-p_{1, j}\right) \quad (7)

如果

\triangle_j>10 t_C(Q p+2(B s-1))

，则第

行将被排除在滤波之外，否则将使用以下方程计算新值：

\begin{gathered} p_{0, j}^n=p_{0, j}+\triangle_j \\ q_{0, j}^n=q_{0, j}-\triangle_j \\ p_{1, j}^n=p_{1, j}+\frac{\frac{p_{2, j}=p_{0, j}}{2}-p_{1, j}+\triangle_j}{2} \\ q_{1, j}^n=q_{1, j}+\frac{\frac{q_{2, j}=q_{0, j}}{2}-q_{1, j}+\triangle_j}{2} \end{gathered} \quad (8)

In-depth analysis

上述关于应用去块效应滤波器过程的描述并没有真正解释用于强滤波的系数

a_{k, i}

、

b_{k, i}

、

c_{k, i}

和

d_{k, i}

的性质，以及在弱滤波情况下用于计算样本值的量

\triangle_j

。我在文献中找不到这些系数的推导，它们为什么是这样的呢？我们可以在这里进行一些推测。

让我们从

\triangle_j

开始。将笛卡尔坐标系的原点放在样本

p_{0, j}

和

q_{0, j}

之间的中点，使得这些样本的坐标分别变为

x=-1 / 2

和

x=1 / 2

。在这种情况下，样本

p_{1, j}

的坐标为

x=-3 / 2

，样本

q_{1, j}

的坐标为

x=3 / 2

。

利用最小二乘法，我们通过四个样本

\left(p_{0, j}, p_{1, j}, q_{0, j}, q_{1, j}\right)

绘制一条直线

y=a x+b

。考虑一组样本

y_i

，其值取自坐标为

x_i

的点。为了用线性函数近似

y_i\left(x_i\right)

，即构建方程为

y=a x+b

的直线，我们需要选择参数

和

的值，以使

y_i\left(x_i\right)

的均方偏差与由

y=a x_i+b

给出的值最小化。通过将参数

和

的导数置为0，可以轻松找到参数的极值点：

\begin{aligned} & \frac{\partial}{\partial a} \sum_i\left(y_i-a x_i-b\right)^2=0 \\ & \frac{\partial}{\partial b} \sum_i\left(y_i-a x_i-b\right)^2=0 \end{aligned} \quad (9)

解这个方程组得到

和

：

\begin{gathered} a=\frac{\sum_i y_i x_i-\sum_i y_i \sum_i x_i}{\sum_i x_i^2-\sum_i x_i \sum_i x_i} \\b=\sum_i y_i-a \sum_i x_i \end{gathered} \quad (10)

和

可以表示为：

a=\frac{\sum_i y_i x_i}{\sum_i x_i^2}, b=\sum_i y_i, \sum_i x_i=0

。（在所选的坐标系中，关系

\sum_i x_i=0

成立。）将

x_i

坐标和

y_i

值代入

和

的方程中，我们有:

a=\frac{-3 p_{1, j}-p_{0, j}+q_{0, j}+3 q_{1, j}}{10}, b=\frac{p_{1, j}+p_{0, j}+q_{0, j}+q_{1, j}}{4} \quad (11)

p_{0, j}

相对于

a x+b

（其中

x=-1 / 2

）的偏差为

\triangle p_{0, j}=p_{0, j}-a\left(-\frac{1}{2}\right)-b=\frac{-4 p_{1, j}+7 p_{0, j}-2 q_{0, j}-q_{1, j}}{10} \quad (12)

q_{0, j}

相对于

a x+b

（其中

x=1 / 2

）的偏差为

\triangle q_{0, j}=q_{0, j}-\frac{a}{2}-b=\frac{-p_{1, j}-2 p_{0, j}+7 q_{0, j}-4 q_{1, j}}{10} \quad (13)

算术平均值（考虑到偏差

\triangle p_{0, j}

和

\triangle q_{0, j}

的相反符号）为

\frac{\Delta q_{0, j}-\Delta p_{0, j}}{2}=\frac{3 p_{1, j}-9 p_{0, j}+9 q_{0, j}-3 q_{2, j}}{20} \quad (14)

等于用于弱滤波的

\Delta_j

值，精确度为

1.25\%

或更高。因此，量

\Delta_j

由点

p_{0, j}

和

q_{0, j}

相对于通过四个点

p_{1, j}, q_{0, j}

和

q_{1, j}

使用最小二乘法绘制的直线的平均偏差确定。

对解码图像的第二阶段后处理

这个阶段称为取样自适应偏移（SAO），旨在部分补偿由于光谱系数量化而导致的损失。为此，在解码后添加偏移量到某些图像像素的值。这些偏移量在编码阶段计算，并作为每个LCU的表传输到编码流中。通过它们的强度选择要更改的像素，因此这种转换是非线性的。在HEVC中有两种可能的SAO类型：带偏移（Band Offset, BO）和边缘偏移（Edge Offset, EO）。

对于BO后处理，所有LCU中的像素值在编码阶段被分为32个均匀间隔的带。计算每个带中原始和解码图像像素之间的平均偏移。视频编码器保存四个连续带的偏移值以及这个四元组中第一个带的编号在编码流中。在SAO阶段解码图像后，将偏移添加到由编码器选择的带中的像素值。

对于EO后处理，编码器根据对解码图像像素的值进行分类，选择四个模板之一。可能的模板如下图所示。要分类的样本被指定为p，两个相邻样本的值被指定为n0和n1。每个LCU的编码流中添加所选择模板的编号。

后处理是否有效？

对大量测试视频序列的编码结果说明HEVC视频编码系统中的去块效应滤波器绝对有效。这项技术在量化参数值较高时、当边缘效应特别强时尤其有用。减小量化参数值使得解码图像更少出现方块效果，从而降低了去块效应滤波器的有效性。

然而，关于第二个后处理阶段的有效性，却无法得出如此明确的结论。当使用SAO时，编码器会向编码流中插入描述用于校正解码图像像素值的偏移所使用的额外数据，这在任何情况下都会略微降低压缩比。另一方面，启用SAO可以改善图像质量。因此，有时使用SAO在压缩比与图像质量方面提供了一定的、适度的收益。然而，也会出现由SAO引起的比特率增加却没有被图像质量的提高所补偿的情况。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2024-02-27，如有侵权请联系 cloudcommunity@tencent.com 删除

sum