HDR关键技术：色调映射(一)
摘要：
HDR技术近年来发展迅猛，在未来将会成为图像与视频领域的主流。如何让HDR图像与视频也能够同时兼容地在现有的LDR显示设备上显示，是非常重要的技术挑战。色调映射技术(Tone Mapping)就是用来实现将HDR源信号，转换到LDR源信号的技术。在本系列中，我们将会详细地总结色调映射技术的相关问题，并介绍经典的色调映射算法。将分为三个部分：（一）是色调映射技术的综合介绍；（二）是图像色调映射算法的总结与经典算法介绍；（三）将介绍视频色调映射算法。Let's go...
背景
图像显示技术的最终目的就是使得显示的图像效果尽量接近人们在自然界中观察到的对应的场景。HDR图像与视频有着更高的亮度、更深的位深、更广的色域，因此它无法在常见的普通显示器上显示。入门级的显示器与播放设备（例如普通人家使用的电视，常见的电脑、智能手机屏幕等）的对比度很低，只有大约200：1。相对性能更好的LCD显示器能达到更高的对比度，大约10000：1。但是，这些设备通常都会将一个色彩通道离散化到8-bit，少数10-bit的色度区间内。这意味着色度区间只有255个层级，这样的显示设备，我们称之为LDR显示设备。很显然，HDR图像是无法在这些显示设备上直接显示的，为了使得HDR图像与视频也能兼容地放映在LDR设备上，就必须使用色调映射（Tone Mapping）技术将HDR图像与视频映射为LDR图像与视频，进而可以正常显示在LDR显示设备上。
尽管近年来HDR显示设备的研究与生产已经逐步进入正轨，并且部分厂商生产的HDR电视或者屏幕已经投入市场，但是不可忽视的是，如今大多数显示设备仍然属于LDR显示设备，HDR显示设备想要实现对LDR显示设备的全面取代，仍然需要经历一个漫长的过程。因此，色调映射技术在这样的背景下，就显得尤为重要。
色调映射的目的是使高动态范围HDR图像能够适应低动态范围LDR显示器。想要实现这一目的，就需要将HDR图像的色度，亮度，动态范围等，全部映射到LDR图像的标准范围内。在这个过程中，不能简单使用线性映射，因为这样会丢失原始图像的一些重要信息，例如全局与局部的对比度和重要的细节等，最重要的一点是，简单线性映射产生的图像相比于自然界中的场景，会出现严重的失真情况。因此，色调映射技术需要经过深入的研究与精密的设计，才能使得产生的图像在视觉效果上与实际场景中的效果一致。本文的前半部分，我们将首先对色调映射算法的整体思想与相关内容作出综述，接着通过图像色调映射算法，介绍清楚色调映射算法的基本思想与设计方法，以及常见或常用的图像色调映射算法。
随着图像色调映射算法的发展日益成熟，另一个更加复杂但是却同样具有实际意义的问题也随之出现，那就是视频色调映射算法。视频色调映射算法本质上可以看作对视频中的每一帧应用图像色调映射算法，但是，由于视频独有的时域特性以及时域联系，简单地将图像色调映射算法应用于视频当中是不合理的，并且也会使得视频质量出现很大的问题，例如帧间闪烁现象。因此，视频色调映射算法与图像色调映射算法虽然存在联系，但是也有所区别。在本文的后半部分，我们会介绍色调映射算法在视频方面的独特运用。
色调映射算法综述
色调映射算法的目的在于将HDR图像的亮度进行压缩，进而映射到LDR显示设备的显示范围之内，同时，在映射的过程中要尽量保持原HDR图像的细节与颜色等重要信息。所以色调映射算法需要具有两方面的性质：1. 能够将图像亮度进行压缩。2. 能够保持图像细节与颜色。
对于HDR图像与LDR图像来说，两者的亮度是存在区别的，这种区别不仅仅在于范围上，也在于亮度的意义上。对于HDR图像来说，亮度值就代表绝对的亮度值。由于HDR显示设备的亮度范围足够大，因此，HDR图像每一个像素点记录的亮度值，就是显示在HDR显示设备上的亮度值。以OpenEXR格式的HDR图像为例：OpenEXR格式的图像的亮度范围在
。这些亮度信息记录在一个单独的亮度信道中，显示在HDR显示器上的亮度，就是亮度信道中记录的亮度。而LDR图像则有所不同，因为LDR显示设备的亮度范围很小，并且编码格式也是0-255的整数，因此能够显示的颜色与亮度的范围都很有限。为了让有限的亮度空间都能被合理利用，LDR图像的亮度实际上并不对应于显示场景中的亮度，而是一种“相对亮度”。像素值通过Gamma映射，映射到显示器支持的亮度范围当中后，再显示出来。因此，LDR图像的亮度是由显示设备决定的，而HDR图像的亮度记录在图像当中，由图像决定的。
由于LDR显示设备的亮度范围远远小于HDR图像以及自然界中的亮度范围。因此，在设计色调映射算法时，如果仅仅使用简单的线性映射的方法，将会产生的问题是过于明亮与过于阴暗区域的细节无法保持，这显然是不可接受的。所以，在设计算法时，必须考虑图像中场景的显示一个场景时，主要需要考虑其光照水平和对比度范围，一些需要普遍关注的例子有：在阳光充足的场景下，事物会显得更加多彩和对比强烈；而夜晚时，多彩的事物会显得灰暗的多。因此，对像素的简单缩放和压缩其光照强度水平和对比度范围不足以精确再现场景的视觉效果。Tumblin和Rushmeier正式提出了这个问题，如图1所示，并提出了解决这一问题的视觉模型，从此视觉模型就成为了色调映射中的一部分。
图1 结合视觉模型的色调映射方案框图
根据我们上一部分介绍的人类视觉感知系统的相关内容，人类对于自然场景的感知是由视网膜上的杆状细胞和锥状细胞捕捉，并进一步通过视觉通路产生视觉信息。这些信号是由多层神经元进行非线性处理，进而形成人对于场景的感知。但是，按照我们在gamma校正这一节提到的人眼“视觉亮度非线性”特性，人眼对于亮度的感知与亮度的实际物理辐射亮度之间的关系不是线性映射，这就需要我们在色调映射算法设计的过程中，对这种非线性映射做出相应的处理。
自然场景有着亮度范围非常大的光照条件，从夜晚几乎没有光照、到艳阳天亮度很高的场景。如果在显示器上显示时，只是简单的将真实场景的整个亮度域线性压缩到显示器的范围内，由于“视觉亮度非线性”，图像会在明暗两端损失大量细节，人眼无法感知这一部分的细节变化，这不是场景重现希望得到的效果。人眼是如何解决这个问题的呢？当我们从一个很亮的区域，进入一个很暗的场景时，眼睛所看到的场景会出现一段时间的模糊，看不清，接着才会变得清晰。这种现象产生的原因是：实际上，虽然人眼能够分辨的亮度域很大，但是这个亮度域中的所有亮度同时出现在一个场景中时，人眼也无法感知其中的全部细节。而人眼的处理方式是：既然无法感知整个亮度域的细节，那么就只关注局部的亮度范围。人眼通过瞳孔的调节，找到场景中亮度的主要分布范围，人眼会对于这个亮度范围内的亮度敏感，能够分辨其中的细节，而对于其他亮度，在人眼的感知中就是过于明亮或者过于阴暗，人眼就无法感知其中的细节。色调映射如前所说，也需要解决这个问题。不同的色调映射算法选择的处理方式有所不同。
色调映射技术可以使用以下的方式做一个统一的定义：
其中f代表的是色调映射算子，I表示待操作的图像，w，h代表图像的宽和高，c代表图像的通道数，通常为RGB三通道。同时，因为色调映射算子此时只对亮度进行操作，而不改变颜色，所以上式可以简化为：
这里s∈(0,1]代表饱和度因子，用来降低色调映射后的饱和度，因其在色调映射过程中饱和度通常会增加。操作完成后，通常还会对每个颜色通道进行Gamma校正，使它的色度范围固定在[0,255]范围内。
从上面的式子我们可以发现，色调映射算法的关键，就是设计出适合的色调映射因子（Tone Mapping Operator）。色调映射算法的区别，本质上是设计并使用了不同的色调映射因子。
图2展示了一个场景的HDR图片，该图片在SDR显示器上显示时需要进行一些本地处理。当我们对该HDR图片进行全局色调映射算法处理后，我们可以得到左侧图片，我们可以看出得到的图片在暗处细节损失严重，很难看清其局部细节；因此我们对HDR的图片同时应用全局色调映射算法和局部色调映射算法相结合的方法来渲染正确的图像，也就是图6.1中右侧的图片，我们可以看到不论是明亮处的内容、还是暗部细节都可以很好的呈现出来，而单独使用全局映射算法，阴影部分则无法清晰的显示出来。
图2 HDR场景示例
尽管市场上已经开始逐渐出现支持HDR技术的显示器和电视等，其显示能力已经越来越接近真实世界中的场景，这使得新出现的显示器能够在少量压缩HDR的动态范围的情况下显示HDR内容。但是，色调映射在HDR技术的普及上仍然非常重要，该技术可以很大程度上增强视频内容的效果。
色调映射中的颜色映射
在色调映射过程中，如我们之前所述，在色调映射的过程中，不仅仅图像亮度的范围减小了，图像的颜色范围也减小了。在色调映射的过程中，可以通过对三个通道进行统一的操作，进而将图像的亮度进行适当的映射；也可以分别对单个通道进行不同的操作，进而在对亮度进行映射的同时，也对图像的颜色进行映射。
由于分别对图像的三个通道进行操作，会造成颜色的饱和度降低，色调映射过程中，通常的做法是先对图像的亮度进行映射，然后再通过原图像的信息，获取新的颜色信息 。也就是说，色调映射过程分为两个步骤，（1）亮度映射，（2）颜色映射。
颜色映射的方式较为统一，通常使用如下式子的方式进行映射：
其中，C和c分别是色调映射前和色调映射后的颜色。L是HDR图像的亮度，T是色调映射后对应的亮度值。s是用来调节饱和度的参数，当s<1时，颜色的饱和度可以得到调节。
因此，大多数的色调映射算法，都是通过这样的方式进行颜色的映射。色调映射算法的主要内容，也就变为了如何设计更好的亮度映射算法。在本节的后续部分当中，我们提到的色调映射算法，如没有额外叙述，都将表示亮度映射算法。
色调映射算法流水线
不同的色调映射算法有不同的关注点，也有不同的算法设计思路，想要总体地抽象概括全部的色调映射算法的性质与设计思想是十分困难的。但是，随着色调映射算法的研究逐渐成熟与深入，现在的色调映射算法通常都遵循着一种算法设计流水线。现在的大多数算法的不同，也只是体现在流水线中不同步骤的实现方式存在差异，或者额外添加了一些新的限制，但是算法的主要部分，依然遵循着这样一种流水线。在本小节当中，我们就来逐步分析与介绍这种色调映射算法流水线。
图3 色调映射算法流程图
这个流水线接收HDR图像，输出LDR图像。首先，先对输入的HDR图像进行预处理，主要包括测算图像的亮度信息，并将亮度信息转换到对数域。接着，处理后的图像通过边缘保留滤波器（例如双边，三边，金字塔型滤波器），提取出图像的亮度信息，也就是图中的base layer。然后从处理后的图像中减去base layer，就可以得到detail layer，也就是图像的边缘信息，或者称之为图像细节。也就是说，第二步操作，将图像的亮度信息与图像细节分开，以供后续步骤进行不同的操作。再之后，第三步，提取出的亮度信息通过不同的tone curve（色调曲线）进行压缩，或称之为映射，进而映射到LDR图像的亮度域之中。最后，将新的，映射后的亮度与之前提取出的detail layer叠加，并通过前一节提到的方式，将图像的颜色还原添加，就得到了最终的LDR图像。
色调曲线
色调曲线以及局部处理（Local Processing）是色调映射算法设计的核心问题。在上面的色调映射算法流程图中我们提到，提取出的亮度信息，要通过色调曲线，映射到LDR图像的亮度域当中。本小节，我们就来看一下什么是色调曲线，以及色调曲线部分有哪些重要的内容。下一小节，则主要介绍局部处理。
在色调映射算法中，最核心的问题就是如何将亮度从HDR亮度域映射到LDR亮度域。流水线中的其他操作与处理，实际上都是在为这个核心目的服务。在大多数情况下，HDR到LDR的亮度映射，是通过一种连续函数-亮度曲线实现的。
首先，我们公式化地描述色调映射问题。色调映射问题，就是将输入的HDR图像
映射为LDR图像的像素值
。转换的方式我们记做M:L→l。L亮度的计量单位或者存储在图像中的亮度值的计量单位不会影响算法的设计，只要这些亮度与记录的对应场景的亮度之间是线性相关的即可。但是，不同的色调映射算法的设计存在不同，有些算法直接将L的亮度值映射为0-255的像素值，而有些则将L的亮度值映射为对应的亮度信息T，然后由显示设备将亮度信息T映射为LDR图像的像素值。针对这种情况，我们给出色调曲线的定义：我们将色调曲线记做V:L→T，其中
。也就是说，色调曲线是
的映射，并且是一段连续的映射，它实现了亮度域的压缩转换。而为了保证算法的完备性，色调映射算法还应当在色调曲线之后，补充亮度信息T到LDR图像像素值l的映射。
色调曲线函数V的设计取决于一些自定义的参数：
例如整体亮度，对比度，饱和度；同时，也取决于一些图像的数据：
。图像数据可以包括图像均值
。图像的最大，最小值以及图像的直方图
。利用α与ϕ，我们就可以给出空间不变的像素级的色调曲线的定义：
，其中s表示图像中的像素。
例如，一个简单的曝光补偿可以描述为
。另一个例子是Sigmoid曲线，它可以适应性地调节图像整体亮度，假设输入图像的均值ϕ=μ，此时的色调曲线就可以记做：
。
上述的两个例子实际上就是简单的色调映射算法，它们的效果虽然并不好，但都实现了亮度域从HDR到LDR的转换。
局部适应
在上一节中提到，色调曲线可以压缩图像的动态范围，或者说亮度范围，但是，在压缩的过程中，会使得图像整体的对比度出现损失。由于全局对比度在亮度被压缩到较小的亮度范围时不可避免的会出现损失，提升图像的品质就可以从保持图像的局部对比度，或者说细节入手。
我们同样公式化地描述局部对比度。类似于色调曲线中提到的ϕ(L)，我们使用一系列参数
，来描述局部对比度。这些参数
取决于图像L，并且它们的取值取决于像素s周围的领域
。通过
来获取像素点s附近的局部特征，色调映射算法可以在空间上自适应的维持或者增强局部对比度。局部的色调曲线现在可以记做如下形式：
。
也就是说，利用
，可以有效地获取图像的局部信息。因此，考虑我们色调映射流水线中的思想，我们可以利用
获取图像的base_layer，
，以及detail_layer，
。利用色调曲线来处理base_layer，然后将detail_layer加回图像中，由此来保持图像的局部对比度：
这里的V表示局部色调曲线，而V可以被分解为两个部分，一个是用于处理全局图像对比度B的全局色调曲线，第二个是细节D，用于保留细节到最后。
参考文献
[1] C. Schlicks , Quantization techniques for visualization of high dynamic range pictures, Springer-Verlag, pp. 7-20.
[2] G Eilertsen, R Wanat, R. K. Mantiuk, J. Unger, Evaluation of Tone Mapping Operators for HDR-Video, in: Computer Graphics Forum Vol.32, no 7, 2013.
[3] R. Boitard, R. Cozot, D. Thoreau, K. Bouatouch, Survey of temporal brightness artifacts in video tone mapping, in: HDRi2014-Second International Conference and SME Workshop on HDR imaging, 2014.
[4] P. Debevec, A median cut algorithm for light probe sampling, in: ACM SIGGRAPH 2008 Classes , New York, NY, USA, SIG- GRAPH ’08, ACM, pp. 33:1–33:3, 2008
[5] T. O. Aydin, N. Stefanoski, S. Croci, M. Gross, A. Smolic, Temporally coherent local tone mapping of HDR video, in: ACM Trans. Graphics 33, 6, p. 1–13, 2014.
[6] B. Guthier, S. Kopf, M. Eble, W. Effelsberg, Flicker reduction in tone mapped high dynamic range video, in: Proc. SPIE, 2011.
[7] R. Boitard, K. Bouatouch, R. Cozot, D. Thoreau, A. Gruson, Temporal coherency for video tone mapping, in: SPIE 8499, Applications of Digital Image Processing XXXV, San Diego, 2012.
[8] M. Lang, O. Wang, T. Aydin, A. Smolic, M. Gross, Practical temporal consistency for image-based graphics applications, in: ACM Trans. Graph, Vol.31, no 4, p. 34:1–34:8, July 2012.
[9] X. Dong, B. Bonev, Y. Zhu, A.L. Yuille, Region-based temporally consistent video post-processing, in: The IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2015.
[10] N. Bonneel, J. Tompkin, K. Sunkavalli, D. Sun, S. Paris, H. Pfister, Blind video temporal consistency, in: ACM Trans. Graph, Vol.34, no 6, p. 196:1–196:9, Oct. 2015.
[11] E. P. Bennett, L. Mcmillan, Video enhancement usingper-pixel virtual exposures, in: ACM Trans. Graphics, Vol.24, no 3, p. 845–852., 2005.
[12] J. H. Van Hateren, Encoding of high dynamic range video with a model of human cones, in: ACM Trans. Graphics 25, pp. 1380-1399, 2006.
[13] G. Eilertsen, R. K. Mantiuk, J. Unger, Real-time noise-aware tone mapping, in: ACM Trans. Graph, Vol.34, no 6, 2015.
[14] J. Li, O. Skorka, K. Ranaweera, D. Joseph, Novel real-time tone-mapping operator for noisy logarithmic cmos image sensors, in: Journal of Imaging Science and Technology, Vol.60, no 2, p. 1–13, 2016.
[15] G. Eilertsen, R. Wanat, R. K. Mantiuk, J. Unger, Evaluation of Tone Mapping Operators for HDR-Video, in: Computer Graphics Forum, Vol.32, no 7, p. 275–284, 2013.
[16] F. Dufaux, P. L. Callet, R. K. Mantiuk, M. Mrak, High Dynamic Range Video: From Acquisition, to Display and Applications, Vol.1, Academic Press, 2016.
[17] J. A. Ferwerda, S. N. Pattanaik, P. Shirley, D. P. Green- Berg, A model of visual adaptation for realistic image synthesis, in: Proceedings of the 23rd annual conference on Computer graphics and interactive techniques, New York, NY, USA,, 1996.
[18] S. N. Pattanaik, J. Tumblin, H. Yee, D. P. Greenberg, Time-dependent visual adaptation for fast realistic image display, in: Proc. SIGGRAPH 00 (2000), Annual Conference Series, 2000.
[19] S. B. Kang, M. Uyttendaele, S. Winder, R. Szeliski, High dynamic range video, in: ACM Trans. Graph, Vol.22, no 3, p. 319–325, 2003.
[20] E. Reinhard, M. Stark, P. Shirley, J. Ferwerda, Photographic tone reproduction for digital images., in: ACM Trans. Graph, Vol.21, no 3, p. 267–276, 2002.
[21]N. Goodnight, R. Wang, C. Woolley, G. Humphreys, Interactive time-dependent tone mapping using programmable graphics hardware, in: Proceedings of the 14th Eurographics Workshop on Rendering, Aire-la-Ville, Switzerland, Switzerland, 2003.
[22] P. Ledda, L. P. Santos, A. Chalmers, A local model of eye adaptation for high dynamic range images, in: International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa, 2004.
[23] G. Krawczyk, K. Myszkowski, H. P. Seidel, Perceptual effects in real-time tone-mapping, in: Proceedings of the 21st Spring Conference on Computer Graphics, 2005.
[24] F. Durand, J. Dorsey, Interactive Tone Mapping, in: Rendering Techniques 2000: Proceedings of the Eurographics Workshop, Brno, Czech Republic, 2000, p. 219–230.
[25] H. Wang, R. Raskar, N. Ahuja, High dynamic range video using split aperture camera, in: IEEE 6th Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras, Washington, DC, USA, 2005.
[26] C. Lee, C. S. Kim, Gradient domain tone mapping of high dynamic range videos, in International Conference on Image Processing, 2007.
[27] A. Benoit, D. Alleysson, J. Herault, P. L. Callet, Spatio-temporal tone mapping operator based on a retina model, in: Computational Color Imaging Workshop(CCIW’09), 2009.
[28] J. Hérault, B. Durette, Modeling Visual Perception for Image Processing, Berlin, Heidelberg: Springer Berlin Heidelberg, 2007, pp. 662-675.
[29] L. Meylan, D. Alleysson, S. Süsstrunk, Model of retinal local adaptation for the tone mapping of color filter array images, in: J. Opt. Soc. Am. A Vol.24, no 9, p. 2807–2816, Sep 2007.
[30] Stevens , "The surprising simplicity of sensory metrics," in: American psychologist, p. 29, 1962.
[31] H. Shahid, D. Li, A. Fanaswala, M. T. Pourazad, P. Na- Siopoulos, A new hybrid tone mapping scheme for high dynamic range (hdr) videos, in: IEEE International Conference on Consumer Electronics (ICCE), 2015.
[32] S. T. Anand, S. Jeeva, S. Thivya, Edge detection using directional filter bank, in: International Journal of Applied Information Systems 1, pp. 21-27, 2012.
[33] J. Kuang, G. M. Johnson, M. D. Fairchild, icam06: A refined image appearance model for {HDR} image rendering, in: Journal of Visual Communication and Image Representation, Vol.18, no 5 , pp. 406-414, 2007.
[34] G. Ward Larson, H. Rushmeier, C. Piatko, A visibility matching tone reproduction operator for high dynamic range scenes, in: IEEE Trans. Visualization and Computer Graphics Vol.3, no 4, pp. 291-306, 1997.
[35] G. Eilertsen, R. K. Mantiuk, J. Unger, Real-time noise aware tone mapping, in: ACM Trans. Graph, Vol.34, no 6, p. 198:1–198:15, Oct 2015.
[36] R. Mantiuk, S. Daly, L. Kerofsky, Display adaptive tone mapping, in: ACM Trans. Graphics, Vol.27, no 3, p. 68:1–68:10, 2008.