ISP基础（02）：宽动态范围WDR
ISP基础（02）：宽动态范围WDR
1、宽动态范围概念
WDR是wide dynamic range 的缩写，意思是宽动态范围。 根据百度百科，当在强光源（日光、灯具或反光等）照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围”。而宽动态范围正是致力于解决此类场景中的问题。
2、宽动态范围实现技术
WDR图像获取方法，可以归结为以下三种：
- 模拟光线和物理光照模型的合成图像；
- 使用宽响应范围cmos传感器拍摄；
- 利用拍摄得到的不同曝光多帧低动态范围图像（LDR）合成；
2.1 BME
BME：是binned multiplexed exposure的缩写。这种sensor每隔两行的曝光时间分别设为短曝光和长曝光。然后融合长短曝光的两帧图像，成为行数减半的一帧HDR图像。空间分辨率损失了一半，就好像是做了1x2binning，所以叫做binned multiplexed exposure。
IMX135 and IMX258使用了这一技术:
2.2 SME
SME: 是 Spatially multiplexed exposure的缩写。这种sensor在空间上以棋盘格的pattern排列着长曝光和短曝光的像素。然后通过算法处理融合两个曝光的图像成为一帧HDR图像。按照Sony的说法，这种SME技术只损失20%的空间分辨率，而前边BME会损失一半的空间分辨率。也有别的ISP公司，用更好的算法来融合两个曝光的图像，能够更少地损失空间分辨率。
IMX214，IMX298，IMX230采用了这一技术:
2.3 QBC
QBC：是quad bayer coding的缩写。这种sensor的设计是：每个像素是有四个子像素组成，他们公用一个color filter。在非HDR模式下，四个像素合并成一个输出值，与当年Nokia 用的4100万像素出8百万像素的照片的所谓超采样是一个原理，具有降噪，增加动态范围的好处。在HDR模式时，会把四个像素分成两组，对角线方向的分到同一组，135度的那组曝光要短于45度的那组，然后再scale+combine，这样就生成完全pixel位置的HDR图像。
IMX294CJK 采用了这个技术：
2.4 多次曝光
这种方法很直观，就是同步设定不同曝光时间，进行Frame by Frame曝光，得到不同曝光图像后，进行多帧合成，得到WDR图像，此方法缺点是一般会影响帧率，也就是sensor最高帧率除以3，而且如果使用最高帧率比如60Hz，又要考虑长曝光帧曝光时间是否够长（16.66ms）；
基本上可配置曝光时间的sensor都可以做，合成图像示例：
2.5 DOL
DOL：是digital overlap的缩写，是sony的一种sensor多帧HDR技术。索尼支持‘准同时’输出多帧不同曝光时间的图像。ISP收到多帧图像后可以做图像融合，生成HDR图像。图片看起来不直观，把它理解为2.4和2.6两种技术之间的过渡比较合适。
IMX290 使用了这一技术:
2.6 SplitPixel
Split Pixel：是分离像素的缩写，是sony的一种sensor多帧HDR技术，只不过这种多帧不是多次曝光实现的，而是通过分离的大小像素实现的，大小像素曝光敏感、小像素曝光不敏感。以实现对环境中亮的部分和暗点部分都能得到合适曝光，然后通过帧合成技术得到全场景不过曝和弱曝的WDR图像。
IMX390、IMX490 都使用了这一技术；
2.7 DWDR
Digital WDR，为保证人眼看到的世界和显示器或者摄像头采集的图像的亮度范围相差无几，通过tone mapping，将暗处和亮出细节再现。这是一种纯粹为了视觉感受而进行的处理，是纯软的实现方式，并非真正的HDR.
3、HDR和WDR
在传感器sensor以CCD为主的时代，宽动态的称呼主要是WDR，进入cmos时代，把宽动态称为HDR开始渐渐流行起来。二者并无本质的区别。比如SONY对自己的sensor传感器的介绍页面上，WDR和HDR两种称呼同时存在。DOL-WDR，DOL-HDR。宽动态的实现方式主要为两种，一种是sensor自带的性能，另一种是通过DSP算法来实现。 None. It is the same thing. Names differ between industries. HDR is mostly used in photography. WDR in video surveillance industry.