HDR关键技术:主要标准介绍

摘要:

HDR是UHD技术中最重要维度之一,带来新的视觉呈现体验。HDR技术涉及到采集、加工、传输、呈现等视频流程上的多个环节,需要定义出互联互通的产业标准,以支持规模化应用和部署。本文整理当前HDR应用中的一些代表性的国际标准。

HDR发展现状

HDR技术的发展,基于UHDTV技术的革新。相较于HDTV,UHDTV在三个方面进行了巨大的提升:

  1. 视频分辨率。UHDTV视频的分辨率达到了3840*2160,也就是“4K”分辨率。相较于HDTV视频1920*1080的分辨率,UHDTV提供了4倍的像素点。
  2. 显示设备的动态范围。显示设备的动态范围是指其最大亮度与最小亮度的比值。在新的UHDTV显示设备上,可显示亮度的范围为: 0.00005 cd⁄m^2 ~1000 cd⁄m^2 ,对比之下,HDTV可显示亮度范围仅为:0.0002 cd⁄m^2 ~100 cd⁄m^2 。显示设备亮度范围的提升,为HDR技术的应用提供了基础。
  3. 显示设备的色域范围。UHDTV中应用的是广色域技术(WCG,Wide Color Gamut)。传统的HDTV显示设备支持的是BT.709或BT.601标准下的色域,这两种标准仅仅包含了33.5%的可见颜色。UHDTV显示设备支持的是DCI-P3与BT.2020标准下的色域,它们分别包含了41.8%与57.3%的可见颜色。可见,色域范围的提升是非常明显的。

显示设备性能的提升为HDR技术的发展提供了基础。HDR技术的目的,是在充分利用UHDTV亮度范围的基础下,提供更加接近现实场景的视频。在常规亮度区域,HDR视频与SDR视频的亮度基本一致;在低亮度区域,由于HDR技术提供了更多的亮度等级,因此HDR视频在低亮度区域的细节会得到增强;在高亮度区域,由于HDR视频的亮度范围远远高于SDR视频,因此大部分SDR视频中的峰值亮度在HDR视频中能够得到正常显示,只有类似于镜面反射这种亮度的像素点,才会被设计为最高亮度。

HDR技术包含两个重要方面,第一个是内容制作,第二个是分发与显示。这两方面HDR技术与传统电视技术都存在差异。

内容制作方面,HDR电视的视频源与传统视频源的摄影设备存在区别。传统的摄影设备的曝光度有六阶,而现在的专业HDR摄影设备已经具有14阶的曝光度(例如电影摄影设备),普通的民用HDR摄影设备也普遍具有8-10阶的曝光度。这就使得HDR视频源具有更好的细节表现能力。

内容分发方面,由于HDR视频的bit深度要大于传统视频,因此HDR技术通常需要更宽的传输带宽或更优质的传输通道。但是,为了实现向下的兼容,部分HDR标准中使用了一些技术(例如动态元数据)实现了带宽的压缩,使HDR信号在传统的传输标准仍然可以传输。

内容显示方面, HDR电视能够提供更加广的显示亮度,相较于传统显示设备0-100nits的显示亮度,HDR显示设备通常可以达到0-10000nits的显示亮度。由此可以发现,HDR电视显示的视频是真正的HDR视频,不仅仅能够显示更多的图像细节,同时还能够显示更广的亮度;而HDR摄影技术拍摄出的HDR图像或视频仅仅只能显示更多图像细节,而无法对显示亮度范围做出提升。

HDR相关技术组织

本节对主要HDR技术规范进行总结。由于HDR技术本身基于UHDTV,因此在HDR技术中,除了对显示设备的亮度范围进行了提升之外,对显示设备的颜色范围也作了提升。在HDR技术规范的建立过程中,以下组织对HDR的各方面技术与参数标准进行了规定:The International Telecommunications Union (ITU), Society of Motion Picture and Television Engineers (SMPTE), Consumer Electronics Association (CEA), Ultra HD Alliance, and the Blu-ray Disc Association (BDA)。

SMPTE

SMPTE在HDR方面的标准主要集中在两方面:EOTF(电光转换函数)曲线的标准以及元数据的标准。由于EOTF曲线以及元数据是HDR技术中非常重要的两部分,因此在后面一节中会对这两部分做出进一步的介绍。

  • SMPTE Standard ST 2084:2014 [1]:该标准中对HDR技术中使用的EOTF曲线进行了定义,其中规定的EOTF曲线是Dolby Vision测定的PQ(Perceptual Quantization)曲线。
  • SMPTE Standard ST2086:2014 [2]:该标准中对HDR技术中使用的静态元数据进行了定义。
  • SMPTE Standard ST 2094:2016 [3]:该标准中对HDR技术中使用的动态元数据进行了定义。

ITU

ITU主要对HDR技术中的颜色范围进行了规定。

  • ITU-R Recommendation BT.2020 [4]:该标准对UHDTV系统以及HDR技术中使用的色域进行了定义。
  • ITU-R Report BT.2381-0 [5]:该标准对HDR电视分发系统的性能做出了规定。同时,该标准中也包括了对了HDR内容向后兼容SDR显示设备的相关标准做出了规定。

CTA

The Consumer Technology Association (CTA),前身为CEA,对HDR显示设备应当达到的最低标准进行了限制:

  • 包含至少一个HDR信号接口。
  • 能够接受并处理HDR静态元数据(HDMI接口需要达到HDMI2.0a以传递HDR元数据)。
  • 能够接受并处理由IP,HDMI或其他接口得到的HDR 10媒体文件。其他HDR媒体文件也可进一步得到支持。
  • 在显示图像之前能够使用合适的EOTF曲线对媒体文件进行处理。

UHD Alliance

UHD联盟中包括了所有的主要UHDTV的内容制造商,内容分发机构以及显示设备制造商。他们对UHDTV的相关最低标准进行了限制:

  • 分辨率:内容,分发与显示的分辨率都应达到3840*2160。
  • 颜色的bit深度:内容,分发与显示过程中使用的bit深度最小为10bits。
  • 色域:支持BT.2020标准中的色域。
  • 母带制作标准:转换函数为SMPTE ST2084标准中的EOTF的反函数。颜色空间最小为100%的P3颜色空间。峰值亮度超过1000nits;最暗亮度低于0.03nits。
  • 内容转换函数:遵循SMPTE ST 2084。
  • 显示内容标准:转换函数为SMPTE ST 2084标准中的EOTF函数。颜色空间最小为90%的P3颜色空间。峰值亮度超过1000nits并且最暗亮度低于0.05nits或者峰值亮度超过540nits并且最暗亮度低于0.0005nits。

UHD联盟使UHDTV内容能够向下兼容SDR显示设备。

HDR中的转换曲线

由于EOTF函数以及元数据是HDR标准中十分重要的组成部分,因此在本节以及下节中,分别对这两部分的相关标准进行介绍。

图像或视频的内容由场景中获取,再到显示设备上显示出来,要经历两个过程:一个是由场景中的自然光线转换到图像编码的光电转换过程;另一个是从图像编码转换到显示设备显示亮度的电光转换过程。由于HDR文件的编码长度较长,因此在光电转换过程中通常可以将场景中的亮度高精度地储存在图像编码当中,所以HDR转换函数的重点,在于图像编码到显示设备的电光转换过程,这一过程,由光电转换函数(EOTF)来执行。

不同显示设备的峰值亮度和最暗亮度不同,并且亮度分级也不同,因此,不同显示设备有不同的EOTF。传统的BT.709与BT.1886标准中规定的指数Gamma曲线就是SDR显示设备的EOTF。Gamma曲线是对相对亮度的量化,这些曲线规定了相对亮度,它们将图像编码最大值与显示设备最大亮度进行映射,最小值与最低亮度进行映射,中间也是类似的量化机制。由于传统Gamma曲线是根据老式CRT显示设备测算的,因此Gamma曲线只是对人眼在低亮度区域特性的总结,也就是在0-100nits范围内,Gamma曲线能够准确转换编码与亮度。

在HDR技术中,显示设备亮度能达1000nits,如果仅将Gamma 曲线拉伸10倍,那么在图像中就会出现明显的块状、环状瑕疵现象。因为在高亮度区域(大于100nits的区域)人眼有着不同的视觉特性。解决此问题有两种不同设计思路,进而形成两类HDR EOTF曲线。

PQ曲线(SMPTE ST 2084)

在SMPTE ST 2084中规定的EOTF曲线没有采用之前的相对亮度量化的方式,而是采用了绝对亮度量化方式。规定的EOTF曲线将10-12bits的编码转换到固定的亮度上,这就要求显示设备的EOTF曲线要与母片制作过程中使用的EOTF曲线完全一致。

ST 2084标准中的EOTF曲线为了能够满足以后技术的发展,定义了0.00005nits到10000nits范围内的映射曲线。ST 2084将每一个视频编码映射到一个在每一个显示设备上都相同的绝对亮度值(例如10bits下的691码字永远对应于500nits的亮度)。

图1 BT.709与SMPTE ST 2084标准下的EOTF曲线

SMPTE ST 2084标准中的EOTF曲线基于人眼的对比度敏感函数,它由Barten测定,并记录于ITU-R BT.2246-6 [6]。这种EOTF曲线也称为PQ曲线。由于PQ曲线充分利用了人眼视觉特性,因此它对bit深度做了充分利用。PQ曲线仅仅使用很少码字就可以表示高达10000nits的亮度(如图1所示,高亮度范围仅仅占用了很小的bits范围)。因为人眼在低亮度区域有更高的敏感性,因此在低亮度区域中使用更多码字,可以显著提升人眼的视觉体验,而高亮度区域人眼敏感度较低,因此不需要使用过多码字。

如果仅仅使用上述PQ曲线进行转换,会发现实际显示图像的对比度远弱于原始场景。这是因为原始场景的亮度要高于实际设备的亮度,因此经过PQ曲线映射后,显示对比度要弱于原始场景对比度。为了解决此问题,需要使用OOTF(Optical to Optical Transform Function,光光转换函数)将极亮区域与极暗区域的亮度进行压缩,并增强中间区域的对比度。

在SMPTE ST 2084规定的PQ系统中,OOTF过程在拍摄或制作过程中进行。

图2 PQ系统中,OOTF在拍摄或制作过程中进行

HLG曲线(Hybrid Log Gamma)

另一种EOTF曲线的设计思路与PQ曲线不同。由于PQ曲线的设计思路与传统Gamma曲线完全不同,因此,PQ曲线不能向下兼容传统的SDR视频的编码。但是,对于电视运营商而言,如果使用PQ曲线进行转换,就需要为HDR和SDR内容分别设计数据流并分别传输数据,这意味着成本的上升。因此,BBC与NHK合作推出了一种新的EOTF曲线-HLG曲线。HLG曲线的优势在于它能够兼容SDR图像的编码。当一个传统显示设备接收到视频信号时,它可以使用传统的Gamma曲线将视频显示为SDR视频。而一个HDR显示设备能够将视频信号通过HLG曲线转换为HDR视频。这意味着电视运营商能够只传输一种数据流,使得SDR用户与HDR用户都能够获得电视信号。

HLG曲线是运营商为了节约传输成本而做出的妥协,它能够很好地兼容SDR与HDR的数据,但会使得两种视频的观看体验都无法达到最佳。为了实现对SDR的兼容,HLG曲线在低亮度区域的映射曲线就是传统的Gamma曲线,而在高亮度区域使用对数曲线进行映射。这也是Hybrid Log Gamma名称的由来。

图3 HLG曲线图像

BBC公司利用HLG曲线进行了小规模的HDR电视节目制作与传输实验。BBC制作了自然纪录片“Planet Earth II”的HDR版本,并在松下的HDR电视上进行了传输与显示实验。同时,由于UHD蓝光标准中不支持HLG曲线,因此在其节目蓝光版本中,使用HDR10标准来替代。

HDR元数据规范

HDR的元数据分为静态元数据与动态元数据两类。

静态元数据

SMPTE ST 2086标准中,对HDR技术中的静态元数据所应遵循的标准进行了定义。在静态元数据中,包含了HDR内容的颜色信息以及亮度信息。HDMI 2.0a支持这种静态元数据的传输。

静态元数据信息中包含了以下内容:以红,绿,蓝三色为基色的颜色信息;HDR母带的白色点信息;最暗亮度以及峰值亮度。ST 2086同时也会传输HDR内容的下列几种亮度信息:

  • 最大内容亮度等级(MaxCLL,Maximum Content Light Level):MaxCLL的单位是cd⁄m^2 。表示HDR内容中最亮的像素点的亮度值。
  • 最大平均帧亮度等级(MaxFALL,Maximum Frame-Average Light Level):单位为cd⁄m^2 。平均帧亮度表示一帧内所有像素点的平均亮度。MaxFALL表示HDR内容中所有帧的最大的平均帧亮度。

动态元数据

SMPTE ST 2094标准中对HDR技术的动态元数据进行了标准定义。动态元数据是指,在传输过程中,传递的是帧与帧之间,或者场景与场景之间的颜色重映射信息(CRI,Color Remapping Information)。也就是指,动态元数据传递的并非每一帧或每一个场景的绝对亮度与颜色,而是随着时间线传输颜色的变化与亮度的变化。这种做法的优势在于能够有效节约带宽。

动态元数据包含的种类较多,具体可参见 [3]。

HDR内容的存储及分发标准

上述各种HDR技术规格是SMPTE,ITU-R等组织对HDR内容应符合的技术要求和限制。工业界与产业界根据这些内容标准,制定出了一些成型的HDR格式标准。这些格式标准,包含了HDR内容从制作,到传输,再到显示的整个流程中所应遵循的标准。HDR的整个流程,通常分为两大部分,第一部分是母带制作,第二部分是分发与重放。下面介绍HDR10,Dolby Vision,BBC/NHK HLG三个主要HDR存储及分发标准。

HDR10

HDR10标准是由MPEG最先发起的。HDR10格式的设计目的,是为了建立一个“最低限度”的HDR标准。MPEG的研究认为HEVC main 10(H.265)已经足以保证HDR内容传输过程中的内容质量以及传输效率。同时10bits下的4:2:0的编码格式也足以满足HDR内容的传输。

基于MPEG的结果,Blu-ray Disc Association(BDA),HDMI Forum,UHD Alliance等组织合力推出了利用HEVC main 10压缩与传输HDR内容的HDR标准。这种最基本的HDR标准被称为“HDR10”。HDR10目前为止并非一个完全的标准,它目前仍然是各种标准与技术的集合体,并且仍然在随着HDR技术的发展而拓展。

HDR10的传输与重放标准:

  • 最小信号通道:HDMI 2.0a
  • 重放色域:BT.2020
  • EOTF曲线:SMPTE ST2084(PQ)曲线
  • 静态元数据:SMPTE ST2086
  • Bit深度:10bits

ST 2086标准的静态元数据将最暗亮度与峰值亮度以及其余亮度参数传递给显示设备。如果显示设备的色域小于母带的色域或者显示设备的亮度范围要小于母带的亮度范围,那么,设备就会根据这些静态元数据将色域和亮度范围相对地缩小到显示设备的范围内。

Dolby Vision

Dolby Vision是一种高质量的HDR标准。与HDR10相比,Dolby Vision对获得了许可的付费用户提供支持,并且Dolby Vision的HDR标准更加严格。Dolby Vision设备可以向下兼容HDR10格式的HDR文件以及SDR文件。

Dolby的HDR信号可通过HDMI进行呈现,并且Dolby通过将元数据嵌入内容信号本身,从而实现了将12bits内容深度的文件与元数据同时通过HDMI 2.0进行传输,而不需要像HDR10一样,只可以通过HDMI 2.0a进行传输。Dolby利用专有的动态元数据,实现亮度与颜色的端到端传输。动态元数据能够传输特定场景的亮度、颜色信息。

Dolby Vision的母带制作过程有两种不同的设计方式:单层文件与双层文件。其中双层文件方式通过将内容分为base-layer以及enhancement-layer两层,使得该制作方式制成的母带能够向后兼容SDR HDTV以及HDR 10的显示设备。另一种单层文件方式不提供向后的兼容,节约了大量的带宽。

Dolby Vision母带中使用的静态元数据包括:

  • 最暗与峰值亮度
  • 颜色表示以及
  • MaxCLL
  • MaxFALL

Dolby Vision母带中使用的动态元数据用于描述帧与帧之间的亮度,并将内容与特定显示设备亮度对应。在双层形式的母带制作过程中,动态元数据反应了视频每一帧当中HDR内容与SDR内容的差异。动态元数据储存在enhancement-layer中。单层形式的母带中不包含动态元数据。

Dolby Vision的传输与重放标准:

  • 最小信号通道:HDMI 1.4
  • 重放色域:BT.2020
  • EOTF曲线:SMPTE ST2084(PQ)曲线
  • 最大显示亮度:10000nits

所有的Dolby显示设备,都应能兼容双层与单层的母带。对于双层文件,Dolby Vision显示设备将base-layer与enhancement-layer分别解码,将12bit的文件解码为10bits的base-layer与2bits的enhancement-layer,然后将两层与动态元数据并进行组合,形成HDR视频,然后进行播放。而如果普通显示设备接收到双层文件,则将base-layer部分直接进行解码放映即可。

BBC/NHK HLG

前述的HDR10与Dolby Vision都是基于PQ曲线的HDR标准。BBC/NHK HLG则是基于HLG曲线的HDR标准。由于HLG曲线提供了对SDR内容的编码兼容,因此,对于广播公司来说,利用HLG曲线可以将HDR内容与SDR内容流使用同一个数据流进行传输,进而显著降低成本。与HDR10一样,HLG也是一种免费的HDR标准。

HLG的母带制作过程非常简便,将原始的拍摄的文件利用HLG曲线作为OETF曲线,并且将色域映射到BT.2020空间内,就可以制成相应的HLG文件。由于HLG文件同样严格遵循现有的10bits的数据流,因此HLG可以无缝的通过现有的广播传输方式进行传播,例如IP、卫星等。HLG信号被接收后,取决于显示设备的类别,HDR设备能够将HLG信号转换为HDR视频播出,SDR显示设备能够将HLG信号转换为SDR视频播出。

HLG的传输与重放标准:

  • 最小信号通道:HDMI 1.4
  • 重放色域:BT.2020
  • EOTF曲线:逆HLG曲线与OOTF
  • 元数据:无
  • Bit深度:10bits

HLG格式的亮度也是一种相对的亮度形式,它将最大码字对应于显示设备的最大显示亮度。传统显示设备的EOTF并非OETF的逆曲线,为了补偿场景亮度,通常还需要使用OOTF(通常为1.1或1.2的指数函数)。在HLG的重放过程当中,也需要相应的OOTF函数,才能够使得画面的对比度不会过低。HLG中的OOTF是一个自动校准的指数函数。根据显示设备动态范围的不同以及场景亮度的不同,指数函数的值会发生改变。对于高动态范围的显示设备以及低场景亮度,通常会使用大的指数值,例如1.6.而对于低动态范围的显示设备与高场景亮度,通常会选择1.3左右的指数值。在实际操作过程中,显示设备将收到的信号经过逆HLG曲线,然后计算每个像素点的相对值Y,以表示像素点的亮度。在后续的OOTF校准过程中,利用相对值Y、最高及最低亮度、场景亮度等信息进行参数确定,最后再进行亮度映射。

利用相对值Y进行亮度映射的优势在于避免了颜色的改变。因为HLG标准中不使用元数据,因此直接进行OOTF处理可能会造成颜色改变。

整个HLG的制作与传输重放流程如下图:

图4 HLG的制作与重放流程

参考文献

[1] SMPTE, "Standard ST 2084: High Dynamic Range Electro Optical Transfer Function of Mastering Reference Displays", 2014.

[2] SMPTE, "Standard ST 2086:2014 Mastering Display Color Volume Metadata Supporting High Luminance and Wide Color Gamut Images", 2014.

[3] SMPTE, "Standard ST 2094-1: Dynamic Metadata for Color Volume Transform Core Components", 2016.

[4] International Telecommunication Union, "Recommendation BT.2020 - 2", 2015.

[5] International Telecommunication Union, "Report BT.2381-0: Requirements for High Dynamic Range Television (HDR-TV) Systems", 2015.

[6] International Telecommunication Union, "Recommendation BT.2246-6: The present state of ultra-high definition television", 2017.

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-08-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏美团技术团队

美团技术团队博客:推荐算法实践

前言 推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。 随着互联网的深...

526110
来自专栏新智元

【干货】7月机器学习Top 10,GitHub平均1041星!

【新智元导读】本月的最热机器学习项目出来了!Mybridge对过去一个月的近250个机器学习开源项目进行了排名,甄选出GitHub星数最多的10大热门项目。开源...

8110
来自专栏PPV课数据科学社区

【数据分析】R语言中用自助法求统计量置信区间

当样本不符合理论分布假设时,求样本统计量的置信区间就成为一个难题。而自助法(Bootstrap)的思路是对原始样本重复抽样产生多个新样本,针对每个样本求取统计量...

51550
来自专栏机器之心

资源 | 利用深度强化学习框架解决金融投资组合管理问题(附 GitHub 实现)

选自GitHub 作者:Zhengyao Jiang、Dixing Xu、Jinjun Liang 机器之心编译 参与:路雪 近日,《A Deep Reinfo...

32360
来自专栏目标检测和深度学习

听说了吗?你也可以在18分钟内训练ImageNet了

该团队的主要训练方法是:fast.ai 用于分类任务的渐进式调整大小和矩形图像验证;英伟达的 NCCL 库,该库整合了 PyTorch 的 all-reduce...

12240
来自专栏大数据挖掘DT机器学习

美团推荐算法实践:机器学习重排序模型

本文介绍了美团网推荐系统的构建和优化过程中的一些做法,包括数据层、触发层、融合过滤层和排序层五个层次,采用了HBase、Hive、storm、Spark和...

68260
来自专栏PaddlePaddle

AI不思议|说说那些偶尔混淆的概念

但是产品和运营两队小伙伴一不小心就遇到概念混淆的场景,有些时候是自己记模糊了、有些时候自己没记错、却被别人“拐到沟里“了…

11810
来自专栏机器之心

TPU加AutoML:50美元快速训练高效的ImageNet图像分类网络

机器之心整理 参与:刘晓坤、思源 昨日,Jeff Dean 在推特上表示他们在 ImageNet 图像分类上发布了新的 DAWNBench 结果,新型 Amoe...

400110
来自专栏机器之心

现在,所有人都可以在18分钟内训练ImageNet了

该团队的主要训练方法是:fast.ai 用于分类任务的渐进式调整大小和矩形图像验证;英伟达的 NCCL 库,该库整合了 PyTorch 的 all-reduce...

11810
来自专栏新智元

【揭秘】美团如何用机器学习优化推荐系统算法

本文介绍了美团网推荐系统的构建和优化过程中的一些做法,包括数据层、触发层、融合过滤层和排序层五个层次,采用了HBase、Hive、storm、Spark和机器学...

45160

扫码关注云+社区

领取腾讯云代金券