HDR关键技术：HEVC/H.265编码优化

摘要：

与传统标准动态范围（SDR）视频相比，高动态范围（HDR）视频由于比特深度的增加提供了更加丰富的亮区细节和暗区细节。最新的显示技术通过清晰地再现HDR视频内容使得为用户提供身临其境的观看体验成为可能。面对目前日益增长的HDR视频消费需求，研究现有的压缩工具或引入新的技术来高效压缩HDR视频变得十分迫切。本文将介绍有关MPEG及VCEG针对HDR视频压缩的研究进展。

背景

传统电视和显示器上显示的视频信号为标准动态范围视频，设计的亮度范围为0.01cd/m2到100cd/m2，对比度为10000：1。而在现实世界中，亮度范围要大得多，例如阳光照射的云层具有100000 cd/m2的亮度，而夜空的亮度仅为0.0001 cd/m2。近年来，显示器的亮度峰值持续在增加，市面上已经出现了亮度峰值可以达到1000cd/m2的电视机产品，而一些专业的监视器则可以达到10000cd/m2，这些显示器大多基于LCD技术以及LED背光，使得亮度峰值能够达到较高的水平。OLED显示器也可以达到一个很高的亮度级别，但峰值略低于LCD & LED技术，不过OLED的优点是其暗度可以达到0.0005cd/m2。

超高清电视（UHDTV）的关键目标之一是增强用户观看视频时的体验，也就是所谓的“沉浸感”和“真实感”。仅仅依靠提高分辨率不足以完全达到这一目的，也无法创建、捕捉和显示比今天的电视机具有更高峰值亮度和更大对比度的视频内容。高动态范围（HDR）视频的目的是提高每个像素还原视频真实场景内容的能力，特别是，最亮像素的亮度增加，同时最暗像素可以变得更暗。另外，呈现更强的真实感需要提供更加丰富的色彩，因此必须使用具有较大色域范围的颜色空间（宽色域WCG）来表示更加饱满的色彩。因此，高动态范围（HDR）与宽色域（WCG）相结合，可以使视频看起来更加清晰、逼真，与传统的标准动态范围视频相比，能够有效改善用户的视频观看体验。

与SDR视频相比，可以从以下几个方面了解HDR视频的效果：

1. 即使分辨率没有改变，图像也可能看起来更加清晰。人眼将清晰度视为分辨率和对比度的组合。因此，当对比度增加时，人眼感知的清晰度也会增加。因此，HD和4K视频都可以通过高动态范围（HDR）增强视觉效果。
2. 明亮的物体看起来会更加逼真。许多物体包含明亮区域，即使很小，也可能会影响观看效果，因为它们比周围环境更亮。HDR视频会以较高的保真度地表现明亮区域的细节，增加水面、玻璃表面、金属表面等物体的真实感。
3. 阴影区域中的细节可能会增加。在SDR视频中，较暗区域看起来是均匀和平坦的，而在HDR视频相同场景下可以清楚地看到阴影中的细节。
4. HDR和WCG的组合还会产生更加饱满的色彩。对于诸如天空之类的明亮物体，HDR和WGC允许出现明亮且同时饱满的颜色。

HDR标准发展历程

ITU-R for SDR and HDR

在ITU-R的建议书中描述了用于表示SDR和HDR视频格式的基本技术规范。其中BT.709“Parameter values for the HDTV standards for production and international programme exchange”包括了如何将8比特线性的RGB图像信号转换为非线性的R’G’B’信号，这个转换通常称为光电转换函数（opto-electronic transfer function, OETF）。BT.709还包含了CIE1931色度坐标的定义，以及从R’G’B’向Y’CbCr颜色空间转换方法的介绍。实际上，相比于色度的变化，人眼对于亮度的变化更为敏感，因此通过这种转换之后就可以降低色度分量的空间采样率。但应该注意的是，亮度分量并不直接对应于实际的亮度信息，一部分亮度信息包含在色度分量中，这就会导致在对色度分量进行下采样时也会对亮度信息产生影响，这种现象称为色度泄漏（chroma leakage），这对HDR视频的影响会比SDR视频更严重，下文会讨论关于色度泄漏的解决方法。

BT.1886 “Reference electro-optical transfer function for flat panel display used in HDTV studio production”中介绍了从非线性R’G’B’信号向线性RGB信号转换的操作方法，该转换操作在视频内容显示前进行，称为电光转换函数（electro-optical transfer function, EOTF）。这里提出的电光转换方程EOTF与BT.709标准中的光电转换方程OETF并不是互逆的关系，此EOTF和逆OETF转换函数的差异可以用一个光电光学转换函数（opto-optical transfer function）或系统参数gamma来表示，该gamma参数能够使得图像看起来更加自然真切。BT.2035“A reference viewing environment for evaluation of HDTV programme material or completed programmes”中给出了视频观看环境的参考设置，其中规定了亮度范围为0.01cd/m2到100cd/m2。

BT.2020“Parameter values for ultra-high definition television systems for production and international programme exchange”中引入了4K（3840x2160）分辨率和宽色域（WCG）的概念。宽色域意味着其基色范围相对于传统视频更广，因而可以显示出更加饱满的颜色，例如深蓝、品红、荧光绿等。但需要注意的是，没有HDR的WCG其效果是很有限的，同样地，不引入WCG的HDR视频也是没有太大意义的，因此HDR和WCG可以很自然地结合起来用于改善每个像素点的重建效果，呈现出更为生动的视频内容。此外，如前文所述，HDR和WCG产生的效果几乎完全独立于空间分辨率，因此可以灵活应用在4K分辨率及1080p分辨率视频中。与此同时，BT.2020包括了与BT.709相同的非恒定亮度颜色空间转换，还包括可以直接应用在RGB信号上的恒定亮度转换。在恒定亮度下，OETF在使用前要先进行颜色空间转换，但这种方法没有非恒定亮度那样应用广泛。

BT.2100“Image parameter values for high dynamic range television for use in production and international programme exchange” 中介绍了两种不同的HDR转换函数：HLG（Hybrid Log-Gamma）和PQ（perceptual quantization）。HLG的光电转换函数OETF与ARIB STD-B67中的OETF是相同的，并且对支持WCG（BT.2020）的SDR显示器有一定的兼容性，但需要注意的是HLG本身不兼容只支持BT.709色域的显示器。PQ电光转换函数EOTF与SMPTE ST.2084中的EOTF相同，并具有与人类视觉系统中分布比较一致的亮度级。SMPTE ST.2084于2013年发布，近年来被广泛应用于工业界，并被多个不同的标准组织采纳。MPEG和JCT-VC相关的工作已经将PQ电光转换函数EOTF作为研究和测试的基准。此外，BT.2100中的颜色基色与颜色空间转换和BT.2020中给出的一致。

图1 PQ（左）和HLG（右）转换曲线

MPEG和VCEG关于HDR的工作

MPEG在2013年开始研究HDR视频压缩时进行了多项探索性的研究测试，主要思路是将HDR视频压缩和处理过程的各部分分开来研究，例如在此期间研究了不同的电光转换函数，并对不同的颜色格式转换和采样方法进行了测试和评估，与此同时还研究了一些主观视频质量测试方法和客观视频质量评价指标。可以预计的是，传统的基于像素误差的评价指标如PSNR在高精度HDR视频的评价中无法提供太多有价值的参考信息。目前已提出了一些专门针对HDR视频的质量指标，例如wPSNR、tPSNR-Y、deltaE100、PSNR-L100等，但仍然没有一个主客观评估结果较为一致的评价指标。

2015年初，MPEG决定发布针对HDR和WCG视频压缩技术标准的CfE[1]，目的是为了确定当前是否存在能够改善HDR视频压缩性能的新技术。CfE中给出了一个参考配置作为对比基准Anchor 1.0，其中大部分技术方案与HDR10（在下一节介绍）完全兼容。Anchor 1.0使用PQ电光转换函数、Y’CbCr颜色空间、HEVC Main10压缩配置，基于未修改的HEVC参考软件HM进行编码，并使用HDR Tools软件包[2]来实现必要的预处理和后处理转换步骤。HDR Tools本身是开源免费的，其在MPEG和VCEG进行的多种评估测试中都有所应用。

CfE提出后，收到了来自Apple、Arris、BBC、Dolby、Ericsson、FastVDO、InterDigital、MovieLabs、NGCodec、Philips、Qualcomm、Technicolor、University of Warwick/goHDR等总共9种不同的技术提案，所有提案的编码结果在两个独立的实验室分别进行了主观评测，得到的结果与Anchor 1.0进行了对比。主观评测结果显示，在很多序列上部分提案的结果相比Anchor 1.0有明显的提升[3]。

与此同时，CfE中的一些序列测试结果表明，可以通过chroma QP offset [4]（第3节介绍）将少量比特从亮度分量转移到色度分量，从而可以减少色度失真。此外也发现在Anchor 1.0中分配给图像暗区的比特过多，而分配给亮区的比特太少[5]，为此引入了亮度调整（Luma Adjustment，第3节介绍）方法。最后综合多种新的改进技术形成了另一个基准，Anchor 3.2。相对于Anchor 1.0，Anchor 3.2在各个方面都有很大程度的改善。与Anchor 1.0中的方法相比，同等视觉质量条件下Anchor 3.2可以实现大约平均27％的比特率降低（使用MOS BD-Rate计算）。不过应该注意的是，Anchor 3.2中的改变都发生在HEVC编码端，而在解码端没有作任何改变，也就是说Anchor 3.2与HDR10完全兼容。Anchor 3.2与Anchor 1.0的编码结果对比如图2所示。

图2 Anchor 1.0（左）和Anchor 3.2（右）在相同码率下的压缩效果

在2016年2月的MPEG会议上，对已有工作进行了分析后得出结论：暂时没有找到一套明确的技术方案能够依此建立针对HDR视频的新的HEVC规范，因此研究重点转向了技术报告。MPEG和VCEG随后的研究工作明确了与HDR视频转换和压缩相关的技术特性，并形成了一份记录这些特性的技术报告，用来指导HDR视频的处理过程，即对支持PQ转换函数、4:2:0 Y’CbCr并使用HEVC Main10 Profile的HDR编码方案，也就是Anchor 3.2中所包含的编码HDR视频的方案提供技术参考。该技术报告从2015年就开始着手准备了，第一个正式的版本在2016年2月发布，随后被确定为MPEG-H的一个新的部分，也就是MPEG-H Part 14。该技术报告的第一版为“Conversion and coding practices for HDR/WCG video”[6]，后来标题变得更加具体，即为 “Conversion and Coding Practices for HDR/WCG Y’CbCr 4:2:0 Video with PQ Transfer Characteristics”[7]。

这份技术报告所描述的HDR视频处理流程如图3所示，其中包括BT.2020中所规定的线性RGB图像信号向10比特、窄范围、PQ转换函数、4:2:0采样率、非恒定亮度Y’CbCr图像信号进行转换时所必需的预处理步骤，具体包括EOTF的应用、颜色空间转换、量化和色度下采样等转换操作。相应地，该报告还介绍了在HDR视频解码之后执行的后处理转换步骤，这些步骤用于将视频信号转换回线性的RGB表示，从而能够在显示器上显示。此外，中间编码部分的介绍并不是对视频编码的完整描述，只是突出说明了针对HDR视频压缩的两种有效的方法：基于平均亮度水平的QP自适应选择和基于内容色域的色度QP偏移，这两种方法将在本文第三部分详细介绍。

图3 HDR视频处理流程[7]

基于HEVC的HDR方案

HEVC具有较高的压缩效率，支持10比特精度、HDR转换函数和WCG，是HDR/WCG视频数据的理想载体。文献[8]中给出了将HEVC编码器及其Main10配置文件用于消费者HDR/WCG应用的可行性。该报告记录了使用HEVC Main10配置文件和BT.2100 PQ转换函数在不同比特率下编码HDR后所进行的一些主观测试结果。该报告的结论是，HEVC Main 10配置文件确实能够以行业常见的比特率高质量地编码HDR/WCG视频，而无需对HEVC标准进行任何进一步的修改。文献[7]中具体给出了关于如何使用HEVC和PQ函数转换HDR视频以进行高效压缩，而文献[9]中给出了一些使用HEVC和HLG函数进行HDR视频编码的指导性方案。

HEVC编码器、10比特精度、BT.2100色彩基色和PQ转换函数的组合通常称为PQ10，同样，HEVC编码器、10比特精度、BT.2100色彩基色和HLG转换函数通常称为HLG10。PQ10和HLG10编码HDR的方案目前已被许多标准化机构采用和部署，其中包括：

• ETSI / DVB

2017年2月发布的技术规范2.3.1版本中，UHD第2阶段部署采用HEVC编码，包括使用PQ10或HLG10方案。

• BD ROM

BDA（Blu-ray Disc Association）是最早支持HDR视频的行业组织之一，编码方案中采用了多个不同的HDR关键技术，其中主要使用的是HDR10。HDR10技术涵盖：PQ转换函数、BT.2020色域、非恒定亮度Y’CbCr颜色空间、4:2:0采样格式、采用HEVC Main10编码配置。在实际应用时，HDR10中还包括一些常用的元数据，比如Mastering Display Colour Information及Content Light Level Information等。

2015年7月发布的用于蓝光光盘的技术规范（3.0版本）支持HEVC Main 10 Profile Level 5.1，最高码率100 Mbps，分辨率为HD或4K，帧率24-60fps，兼容PQ10方案。

• Ultra HD Forum

2017年4月1日发布的技术规范“UHD Phase A内容参数”指定使用HEVC Main10编码配置，并采用PQ10或HLG10中的颜色表示方案。

• 3GPP

基于感知量化器PQ并遵循ITU-R BT.2100颜色格式的HDR方案被添加到了3GPP TS 26.116电视视频配置集中，具体包括HEVC Main10编码方案，转换函数、颜色基色和相关元数据的规定，以及与PSS（分组交换流）和MBMS（多媒体广播和多播服务）的集成。

• ATSC 3.0

使用PQ10或HLG10方案编码HDR视频。

除了标准化机构采用PQ10和HLG10之外，还有许多商业机构直接使用HEVC标准进行HDR/WCG编码、传输和播放，其中包括行业领先的流媒体服务商、主流的手机和电视制造商。目前基本上市场上所有销售的具有HDR功能的电视机都内置了10比特HEVC解码器。

HDR视频编码端的关键技术

Luma adjustment

之前已经提到，在Y'CbCr表示中，一些亮度信息携带在色度分量中，当色度分量进行下采样时，可能出现色度泄漏。对于HDR视频，由于PQ 电光转换函数EOTF具有高度非线性特性以及相邻像素之间的亮度可能显著不同，这种影响可能非常大。图4给出了色度泄漏的示例，并在之后介绍了如何使用亮度调整方法解决此问题。应当注意，该例子使用了BT.709容器中所有可用的色度代码值，并在BT.709显示器上分级显示。这是因为在MPEG中暂时没有可用的具有完整BT.2020色域的测试材料，但是对于BT.2020容器中的测试材料预期也会具有类似的效果。因此，图4中的示例经过了色调映射，以便能够在SDR显示器中呈现。

图4 色度泄漏示例（a.原图（4:4:4）b.色度下采样图（4:2:0）c. Luma adjustment）

如图5所示，亮度调整方法[10]增加了色度上采样环节，使得Cb和Cr信息参与到亮度分量的调整中来，以确保解码后在对色度进行上采样时保留有价值的亮度信息，如图6所示。

图5 编码预处理过程亮度调整方法示意图

图6 解码后处理过程示意图

在后处理阶段，根据亮度调整值

和经过上采样反量化得到的

和

经过一系列转换可以得到重建值

，确保

能够接近最初的RGB是优化的目标。

和RGB之间的差异可以表示如下：

一般采用基于权重的误差和来表示D，权重

可以设定为各分量对亮度的贡献比例。

根据R和R'之间的EOTF转换关系，上式等价于：

其中，EOTF(x)为PQ EOTF。为了得到可以收敛的结果，对EOTF(x)进行泰勒级数展开：

是EOTF(x)关于x在

处的一阶导数。将(4)式带入(3)式可得：

由于

与

之间可以进行如下转换：

将上式代入(5)式替换掉变化量，D可表示为如下所示，记为(7)式。

经过矩阵A的系数替换之后，可简化为：

其中部分系数如下所示：

为了得到(8)式的局部最优解，对其关于

求导并令D为0可得：

计算(12)式即可求导调整后的亮度值

。

QP selection based on average luma

对于SDR数据，使用的是BT.709中的幂律转换函数，而HDR/WCG数据则一般使用在SMPTE ST 2084和BT.2100中定义的PQ转换函数，因此经过处理后数据特性会有很大差别，可以使用BT.709转换函数和BT.2100 PQ转换函数处理相同的SDR数据来观察这一差异。对于10比特的数据，如果源数据的亮度峰值为100cd/m2并使用BT.709转换函数，亮度分量分布在64-940，而如果使用BT.2100 PQ转换函数，亮度分量分布在64-590，可以看到两者范围差异较大。如果使用PQ时在code level为509（100cd/m2）附近出现一些扰动（+/− 1），等价于使用BT.709在code level为940（100cd/m2）出现+/− 4的扰动。与此同时，使用PQ时在code level为80（0.01cd/m2）附近出现一些扰动（+/− 1），等价于使用BT.709在code level为80（0.01cd/m2）出现+/− 1的扰动。因此，可以推断如果编码器在亮区和暗区附近使用相同的方式处理1个code level的误差，那么相对BT.709使用PQ时将会在亮区（100cd/m2）产生4倍左右的误差。也就是说，从BT.709切换到PQ将会导致许多比特从亮区重新分配到暗区。因此，原先针对BT.709在亮区和暗区取得较好平衡的编码器，如果不做修改而直接使用PQ，则分配给亮区的比特过少，暗区的比特过多，所以亮区就会出现失真，对于HDR/WCG数据会表现得更加明显。一种常见的做法是基于局部块的平均亮度值自适应地调整块的QP。

许多编码器都采用了自适应QP选择的方法。在HEVC中，可以单独为每个编码单元设置QP，以便使得比特分配与人类视觉系统特性保持一致。通常，对于平坦区域（低方差）使用较低的QP并且对于纹理密集的区域（高方差）使用较高的QP。此外在其他一些系统中，还可能会考虑亮度、边缘、运动等特性。但这些方法都是针对SDR内容特性的。对于使用PQ 电光转换函数的HDR视频，需要考虑上述转换函数带来的数据特性上的改变。具体地，通过对具有较低平均亮度值的块（暗区域）使用较高的QP，而对具有较高平均亮度值的块（亮区域）使用较低的QP，可以有效改善图像的主观质量。下面给出一个基于平均亮度进行自适应量化的示例。

表示局部64x64 CTU编码块的平均亮度值

，

。dQP与

的对应关系通过如下查找表和图7给出。

表1 dQP与

之间的对应关系

图7 dQP与intL之间的对应关系

Chroma QP offset based on content colour gamut

针对使用BT.709色域和光电转换函数的SDR内容，现有的编码器配置已经可以在亮度和色度之间取得较好的平衡。对于HDR视频，与SDR视频相比，PQ EOTF和BT.2020色彩基色的组合会使得Cb和Cr的取值更加紧密地聚集在零附近。因此，使用同样的编码配置编码HDR视频可能不会获得与SDR类似的性能。具体在编码HDR视频时，过于集中的色度分量在量化过程中会出现丢失，此时比特分配会从色度分量向亮度分量偏移。如果没有为色度分量分配足够多的比特，就会产生色度失真，例如，白色区域中会出现青色和品红色，如图2左图所示，窗户和伞内区域发散出了多种颜色。

HEVC中的Chroma QP offset，调节着亮度QP与色度QP之间的平衡关系。通过对Cb和Cr单独设置色度QP偏移，可以确保在亮度使用较高的QP值时，色度QP仍然维持在一个正常的水平，使得在量化期间不会发生较为严重的色度信息丢失。例如，在失真较为严重的低码率情况，对Chroma QP offset取一个较大的负值能够有效减少色度失真，在码率增加到某个点时，色度分量的质量可能已经足够好了，所以在高码率情况下可以采取较小的偏移值，甚至设为0。另外，如果在编码过程中已知视频内容没有应用全色域（通过分析视频或视频附带的元数据可知），则可以进一步优化色度QP偏移以提供更好的编码结果。

以下给出了设置chroma QP offset的一个例子。假定已知HDR捕捉和显示设备的颜色基色，chroma QP offset可以基于亮度QP值和基色因子c_cb c_cr采用下式给出的模型进行计算：

如果HDR捕捉和显示设备的颜色基色相同，则

= 1，

= 1。如果捕捉设备采用P3D65基色，显示设备采用BT.2020，则

= 1.04，

= 1.39。如果捕捉设备采用BT.709，显示设备采用BT.2020，则

= 1.14，

= 1.78。最后，k=-0.46，l=0.26。

参考文献

[1]. A. Luthra, E. Francois, W. Husak,“Call for Evidence (CfE) for HDR and WCG Video Coding”, MPEG2014/N15083, 110th MPEG Meeting, Geneva, 2015.

[2] A. Tourapis, HDRTools software package: https://gitlab.com/standards/HDRTools/[

[3] V. Baroncini, T. Ebrahimi, “Test Results of Call for Evidence (CfE) for HDR and WCG Video Coding”, N15350, June 2015.

[4] J. Samuelsson, M. Pettersson, J. Ström, K. Andersson, Not Public:“Using chroma QP offset on HDR sequences”, MPEG m36581, June 2015

[5] J. Zhao, S.-H. Kim, A. Segall, K. Misra, Not Public:“Performance investigation of high dynamic range and wide color gamut video coding techniques”, MPEG m37439, Oct 2015.

[6] J. Samuelsson,“Conversion and coding practices for high-dynamic-range and wide-colour-gamut video”, Draft 1, MPEG N16063, February 2016.

[7] J. Samuelsson, C. Fogg, A. Norkin, A. Segall, J. Ström, G. Sullivan, A. Tourapis, “Conversion and Coding Practices for HDR/WCG Y’CbCr 4:2:0 Video with PQ Transfer Characteristics”, Draft 2, JCTVC-X1017, June 2016.

[8] V. Baroncini, K. Andersson, A. K. Ramasubramonian, G. J. Sullivan, “Verification Test Report for HDR/WCG Video Coding Using HEVC Main 10 Profile”, N16273, June 2016

[9] ITU-T Supplement H.Sup18 and ISO/IEC TR 23008-18 “Signalling, backward compatibility and display adaptation for HDR/WCG video coding”.

[10] J. Strom, J. Samuelsson and K. Dovstam,“Luma Adjustment for High Dynamic Range Video”, Proceedings of the IEEE Data Compression Conference (DCC), March 2016.