HDR关键技术：质量评价技术（续）

摘要：

在上一篇HDR质量评价帖中，我们列举了业内常见的HDR质量评估算法，然而不同算法有不同的应用领域。本文将结合重要的HDR技术,进一步描述HDR质量评价技术。本文评价对象将包括色调映射技术，逆色调映射技术，视频压缩与编码技术。

色调映射

Tone mapped 又称色调映射技术，其目的是使高动态范围的HDR图像能够

适应低动态范围的LDR显示器，在映射过程中需要将原HDR图像的细节和颜色等信息做转换，这个过程就需要Tone mapped operator（色调映射因子，下文简称TMO）来实现。对于色调映射技术的评价即为比较原始的HDR图像和tone-mapped后的图像。我们将其分为主观评价方法和客观评价方法来重点叙述。

主观方法

关于色调映射评估的首批研究之一是由Drago等人，其主要目标基于主观问题和多维度统计分析来衡量TMO应用于不同的场景的性能。随后，Ledda等人 [1]提出了使用评估TMO的方法，其方法使用HDR显示器成对比较，该方法将在下文详细讨论。也有研究通过使用真实场景作为对比还评估来TMO质量，例如Yoshida，Ashikhmin和Goyal 以及Cadik等人的方法。还有其他方法分析了TMO在特定条件下的使用，例如，Park和Montag 提出了成对比较的方法来分析TMO对特殊图像的影响，其研究的图像在可见光波长区域之外，例如高光谱数据、天文图像和医学图像。此外，Melo等人还研究了在移动设备上显示TMOs的问题以及不同照明状况下小屏幕设备所面临的挑战。

下面将对上述的方法进行分类详细介绍。

• 图像成对比较法评估TMO

Ledda等人[1]首先提出使用HDR原始图像作为参考图像和色调映射后的图像做比较，HDR显示器被用来显示原来的HDR图像，实验的方法如图1所示。 该实验使用了使用6种TMOs对23个图像进行色调映射，六种TMOs为直方图适应算子，快速双边滤波算子，摄影色调再现算子，iCAM 2002 ，自适应对数映射和局部眼适应算子。结果表明，整体来看，摄影色调再现算子和iCAM 2002性能最佳；在灰度图像的情况下，由于因为iCAM算法主要处理颜色，因此摄影色调再现算子性能更好；而在明亮区域的视觉再现上iCAM 2002和局部眼适应算子表现更佳。总之iCAM2002的表现总体上优于其他方法，也说明了颜色是人类视觉的重要刺激因素。

图1 成对比较法

• 使用图像属性评估TMO

Cadik等人提出通过使用真实场景作为参考的TMO质量评价方法，方法中同时采用了评分和排名的方法。此外，其收集的数据分类适用于测试不同的指标。该该研究主要聚焦在图像和HVS的属性上，包括亮度（感知亮度），对比度，颜色充现和细节重现（在图像的明亮和黑暗区域）等。其研究选取了14个TMOs作为测试：线性映射，LCIS ，修改后的Tumblin-Rushmeier ，摄影色调再现，均匀有理量化，直方图适应，快速双边滤波，三边滤波，自适应控制获取，Ashikhmin算子，梯度区域压缩，基于对比度的因子，自适应对数映射，和空间非均匀缩。

实验结果表明基于排名和基于评分的统计数据没有差异，因此对于TMO的感知比较，可以使用无参考排名的方式。同时其结果表明，全局方法比局部方法往往具有更好的性能， 这与其他研究事实保持一致。 该实验研究和分析了整体图像质量和四个性能属性之间的关系，用来生成图像度量的参数模型。但是，实验参与人数较少，从而限制了场景的选择，且并没有覆盖常见的现实世界中的照明情况。

• 视频TMO评估

Eilertsen等人[2]提出了对用于色调映射HDR视频内容所用的动态色调映射的评估方案，他们的工作涉及选择视频色调映射算子，以及参数选择的两项试点研究，以及总括性基于大数据量的成对比较研究。实验共选择了11种TMO局部和全局算子，并选择了六个视频序列并在整个过程中重复使用。第一项试点研究用来为那些作者没有提供参数的方法设置一组参数；第二项试点研究通过评分机制来评估这十一项全局算子，考虑到了整体亮度，对比度，饱和度，一致性，时间闪烁等标准。

实验中部分方法会产生一些对实验结果产生很大误差的时域特质，尤其是闪烁和重影; 因此在后续实验中放弃了这些方法，最终选择了七种方法。 虽然不同场景的结果有细微不同，但其中三种算子效果最佳，分别为显示自适应TMO ，IrawanTMO ，以及基于S型色调曲线的佳能500D DSLR相机专用TMO。

其结果见下图2。

图2 视频TMO评估结果

• 小屏幕视频TMO评估

便携式设备的普及导致了大量的多媒体内容出现在此类设备上，因而此类设备也需要支持显示HDR内容，在技术发展的初始阶段，这将通过使用色调映射来实现。便携式设备的一个特征是它们的照明条件跨度广，从明亮的阳光到没有任何光亮的地方。Melo等人在便携式设备上对不同光照条件下的六个视频色调映射器进行了研究，他们还研究了小屏幕设备和传统LDR显示器上运行的视频色调映射器的差异。

实验在7个场景，2种显示器和和三种不同的照明条件下对于7个动态TMOs进行了测试。每组参与者针对一种照明，一种显示器和一个场景进行观察，对同一条件下的每种TMO进行排名。其参照视频会显示在SIM2 HDR显示屏上，而观察视频会显示在LDR显示器或者代表小屏幕的Apple iPad设备上。

当把数据按照所有光照条件、显示器和场景进行综合分析，显示自适应色调映射器整体排名最佳，Boitard等人的方法排名第二，而Pattanaik等人的方法排在第三位。针对照明环境，显示自适应方法性能最适合低光照条件和中等光照条件，而Pattanaik等人的方法最适合黑暗的环境。针对不同屏幕，显示自适应性色调映射器最适用于LDR以及小屏幕设备。参与者对测试结果Kendall一致性系数相当高，不同方法在不同场景下的结果各不相同，然而对某一场景的最适合方案始终是前述三种方法之一。

客观方法

由于主观实验耗费较高的时间成本和人力成本，且客观方案可以根据一些属性的数值异常来自动调试参数或者算子，因此客观方法成为了业内研究的重点方向。Yeganeh and Wang等人[3]提出了TMQI （The tone mapped image quality index ）来进行色调映射后的图像和原始HDR图像的直接数据比较。

其算法包括两个部分：一部分用于结构保真度，另一部分用于统计自然度。结构保真度度量从SSIM算法中获取提示，其删除了原始的亮度分量。其定义为：

是信号x和y以及的标准差，

是他们的互相关系数。

是固定常数，通常设置为0.01和10。

是基于视觉对比灵敏度的到标准差的非线性映射。

是基于心理测量函数导出的，其定义如下：

其中

，

为平均亮度，对于8-bit 色调映射的LDR图像，设置为128；λ为尺度常数；

k为常数，通常设置为3。经平均后，TMQI的结构部分定义为：

通过计算不同尺度的

，并根据其权重

做加权得到聚合的值：

统计自然度部分的计算基于亮度和对比度，它通过使用3,000个LDR图像的平均值和标准偏差的直方图来计算亮度和对比度的估计值，分别采用了Gaussian分布和Beta分布。

其中

是Beta函数；

自然度N计算为：

其中

，取归一化测量值。

最终TMQI计算为：

w代表着S和N的比重，根据敏感度做调整。

逆色调映射

由于HDR视听内容的短缺，逆色调映射技术应运而生，它是把源SDR信号转换为HDR信号的技术，在一定程度上是向上兼容的。由于其不断的应用，业内也不断提出主观评估算法来衡量其质量。

Akyuz等比较了简单的反向TMO算法，Banterle等人[4]通过参考进行成对比较来评估了更复杂的逆TMO方法，下面将会详细介绍。Masia等人进行了相似性评分来比较复杂的算法，其实验没有使用任何参考。 Abebe等也通过一个评分实验来测试哪种逆TMO方法和颜色重现模型可以提供与原始HDR相比的最佳的颜色外观。

Banterle等人提出了逆TMO算法的主观评价方法，其算法基于成对比较方法，并使用了HDR参考图像显示在 Brightside DR-37p HDR监视器[36]上。图2展示了用于此评估的设置。

图3 逆TMO质量评估装置

该研究涉及到5个算法：Banterle等 （B），Meylan等人（M），Wang等人 （W），Rempel等人 （R），和Akyuz等人 （A），括号内为该算法的简称。该研究分为两个实验。第一个实验测试了各种算法的性能，通过测试从剪裁的图像重建HDR图像的质量。参与者必须在以下情况下选择最接近参考的图片：整体情况，在黑暗的环境下，在明亮的环境下。第二个实验测试了哪种方法最适合为三种IBL（Image Based Lighting）材料——纯漫反射，纯镜面和光滑来重建HDR环境贴图（Environment Maps）。每个参与者必须根据参考对象选择最接近的重建对象。

对于第一个实验，单调递增函数B，W和R，非线性地增强了对比度，从而在总体上表现得更好；线性方法A和M，整体表现最差。这反映了对于静止图像,复杂的逆TMO方法往往可以更好地重建HDR图像。

对于第二个实验，几种算法在漫反射材料上的结果几近相同，这主要是因为使用IBL进行渲染包括对积分的评估，在积分的过程中，可能会丢失小细节，对于纯镜面或光滑的材料则不会。总的来说，其结果清楚地表明了非线性算子性能更佳。

这项研究表明，B、R、W等更先进的算法可以满足在扩展LDR图像时引入的量化错误，比A、M等引入多个线性尺度扩展的简单算法性能更好，但同时计算量也更大。

编码和压缩

随着HDR的广泛采用，业界提出许多HDR压缩和编码方法，因而有必要对这些方法进行对比和评价。

压缩

Koz和Dufaux 对常用的单流和双流方法进行了了对比，然而该研究受限于没有参与者。Azimi等通过成对比较评估了PQ方法，过程中使用了通用的色调映射和逆色调映射方法。

Mukharjee等人[5]提出了对于HDR视频压缩的主观和客观评估方法，下边将进行详细的叙述。其选择评估的压缩方法为，HDRv，JPEG-HDR，HDR-MPEG，Lee和Kim的率失真法，Banterle等人的方法和Garbas和Thoma的方法。评估的第一步对涉及到39个视频序列进行分级，以便在HDR显示器上观看，其动态范围在10cd/m2 -3到4,000 cd / m2之间。

• 客观方法：

首先，将HDR编码方法应用于原始HDR视频帧从而生成YUV格式的数据块作为H.264编码器的输入。视频流应用对应的解码方法又生成了HDR图像。前后的HDR图像帧选择七个客观指标进行评估：PSNR，logPSNR，puPSNR，puSSIM，Weber-MSE，HDR-VDP和HDR-VQM。结果证明非向后兼容的方法表现更优异。HDR-VDP，HDR-VQM，和puPSNR等指标呈现出近似的结果。

• 主观方法：

主观评价应用了具有代表性的HDR序列集，其准备过程与客观评价近似。参与者最初需要观看每个场景的实际序列；随后，他们需要观看七个序列，包括六种压缩方法产生的序列和隐藏参考序列。然后他们会根据与参考序列的相似性对这些序列中的进行排序。可以根据需要多次查看相关序列。结果表明，单流方法相比，评分上的表现优于其他方法。

编码

Philippe Hanhart等人[6]对于HEVC的常用Profile（指码流中使用的编码工作和算法）进行了主观和客观的评估。包括五个Category 1 (P11, P12, P13, P14, P22) 和四个Category 3a (P31, P32, P33, P34)。

其主观实验采取MSIS的方法，测试了不同码率、帧率下视频的MOS（Mean Opinion Score平均主观意见分 ），其结果见下图4。

图4 编码质量评价主观实验MOS评分

其结果表明，P11和P22比基准P00有明显的改善，P14在部分条件下表现不错。

客观实验采取了上文中提到的诸多HDR质量客观评价算法，评估其与主观实验的吻合度，测试标准仍为LCC线性相关系数、SROCC秩相关系数、RMSE均方根误差、OR背离率等参数。实验结果见下图5。

图5 编码质量评价客观实验评分

实验表明，HDR-VDP-2 和PQ2VIFP算法对于编码质量评估，具有与主观实验最高的吻合度。 

参考文献

[1] Patrick Ledda, Alan Chalmers, Tom Troscianko, and Helge Seetzen. Evaluation of tone mapping operators using a high dynamic range display. In SIGGRAPH ’05: ACM SIGGRAPH 2005 Papers, pages 640–648, New York, NY, USA, 2005. ACM.

[2] Gabriel Eilertsen, Robert Wanat, Rafa l K. Mantiuk, and Jonas Unger. Evaluation of tone mapping operators for hdr-video. Computer Graphics Forum, 32(7):275–284, 2013.

[3]Hojatollah Yeganeh and Zhou Wang. Objective quality assessment of tonemapped

images. IEEE Transactions on Image Processing, 22(2):657–667,

2013.

[4] Francesco Banterle, Patrick Ledda, Kurt Debattista, Alessandro Artusi,Marina Bloj, and Alan Chalmers. A psychophysical evaluation of inverse tone mapping techniques. Computer Graphics Forum, 28(1):13–25, March

2009.

[5] Ratnajit Mukherjee, Kurt Debattista, Thomas Bashford-Rogers, Peter Vangorp, Rafa l K. Mantiuk, Maximino Bessa, Brian Waterfield, and Alan Chalmers. Objective and subjective evaluation of high dynamic range video

compression. Signal Processing: Image Communication, 47:426–437, 2016.

[6] Hanhart P, Řeřábek M, Ebrahimi T. Subjective and objective evaluation of HDR video coding technologies[C]// Eighth International Conference on Quality of Multimedia Experience. IEEE, 2016:1-6.