优化雾天目标检测与识别，能见度极低的条件下显著提高信号清晰度！

通过雾成像对目标检测和识别等领域产生了重大影响。在能见度极低的条件下，基本的图像信息可能被 Mask ，使得标准的提取方法无效。 传统的数字处理技术，如直方图拉伸，旨在通过增强由大气散射减弱的物体光对比度来减轻雾的影响。然而，这些方法在非均匀光照下往往效果不佳。本文提出了一种新方法，该方法在能见度极低的情况下自适应地过滤背景光照，仅保留必要的信号信息。 此外，作者采用基于图像梯度的视觉优化策略来消除灰度条带。最后，通过最大直方图均衡化处理图像，以实现高对比度并保持对原始信息的忠实。 作者提出的方法在能见度极低的条件下显著提高了信号清晰度，并且优于现有的算法。

1 Introduction

在理想情况下，光学成像系统在物体与图像之间实现点对点映射，捕捉原始信息。然而，在大气中传输时，光学传输过程受到干扰，导致远距离成像质量下降。在传输过程中，包括大气吸收导致的低光对比度以及带来原始光场噪声的大气散射等必然过程被认为是不可逆的，并且由于复杂性而增加熵。在能见度极低的条件下，特别是当成像距离超过气象光学范围时，图像重建变得具有挑战性。然而，对于民用、军事和商业用途，通过大气散射介质延长成像距离以收集所需的光信息至关重要。

已经开发了许多方法来在恶劣天气条件下（如雾、霾和沙尘暴）数字化重建信息。这些方法的共同思路是抑制散射光，并利用包含通过大气层未散射信息的弹道光来恢复信息。

全面的方法是通过合理的映射放大捕获的图像，在保持保真度的同时增加其对比度，从而提高系统的可感知性。其中，直方图均衡（HE）被证明是一种有效的映射方式[9]，它利用图像的累积密度函数（CDF）来增强视觉对比度。HE的演变导致了对比度剪切自适应直方图均衡（CLAHE）[10, 11]的出现，该方法通过将图像分割成小部分进行局部HE，并在块之间的边界应用双线性插值。基于CLAHE，提出了后续算法。尽管这些算法在处理大多数与大气散射相关的情况时相当成功，但在不均匀照明等情况下，图像块的间断性可能会破坏图像质量。

通常，照明的不均匀性源于镜头的渐晕效应、相机像素响应的不一致性以及照明的不均匀性。传统的图像照明不均匀性校正方法是通过计算空间放置的照明与获取的图像照明之间的差异。在数字处理中，顶帽变换[15]和低秩与稀疏分解[16]通常效果良好，但对于单张图像输入的图像细节保留仍然是一个挑战。单尺度视网膜（SSR）[17; 18]和多尺度视网膜（MSR）[19]使用高斯核过滤图像。然而，这些方法需要手动选择滤波器参数，并且增强通常是线性拉伸或指数变换。在能见度极低的情况下，重建效果不充分。

受到文献的启发，本文提出了一种称为均质最大直方图均衡（HMHE）的增强技术。作者提出了一种经验方法来评估图像信息的残余性，从而自动选择合适的滤波核并消除不均匀照明。

同时，通过基于图像梯度的视觉优化算法消除了滤波带来的灰度条带效应。最终，通过所提出的最大直方图均衡（MHE）增强滤波后的图像，它将常规HE扩展到最大化其图像增强能力。实验发现，所提出的方法可以充分利用散射介质中的弹道光信号，带来所需目标最高的对比度。这些结果可以作为图像预处理方法，为在应用神经网络进一步处理图像时的更深层次使用提供良好的基础。

本文的安排如下：

在第2部分，作者将简要介绍大气成像中的物理模型以及滤波算法和视觉优化算法的基本思路。

在第3部分，作者将比较几种常规图像增强算法，并进行定性结果和差异讨论。 第4部分给出结论。

2 The theory

第2节 理论部分。

Low visibility imaging model

透过散射介质的光学过程在[20; 21]中有所描述。由于散射效应，物体反射的光被分成直射光（弹道光），轻微散射的蛇形光，它构成了透过光的噪声成分，以及经过多次散射的散射光，它变成了全局干扰和噪声。因此，作者可以写出以下公式：

I_{view}=I_{obj}T+I_{sna}+I_{sca}=I_{obj}T+I_{sna}+I_{illu}(1-T) \tag{1}

其中 I_{view}, I_{obj}, I_{sna}, I_{sca}, 和 I_{illu} 分别代表观察到的光、物体反射的光、蛇形光、散射光和周围光照。弹道光遵循几何光学，并且按照兰伯特-比尔定律降解，即 T=exp(-\beta_{ext}L)。\beta_{ext} 和 L 分别是消光系数和距离。因此，I_{view} 具有低对比度和低信噪比的特点。

inhomogeneity correction

作者用下面的式子来表示在非均匀光照下的图像强度之和[22]：

N\left(x,y\right)=U\left(x,y\right)+N\left(x,y\right)+A\left(x,y\right) \tag{2}

其中 U(x,y), A(x,y), 和 N(x,y) 分别代表物体图像、光照和加性噪声。x, y 是横向和纵向位置。作者假设光照是低频项[16]，而远处的目标物体是高频的。通过应用一个合适的低通滤波器（LPF），作者将得到总强度的低频分量：

N_{LPF}\left(x,y\right)=A\left(x,y\right)+U_{low}\left(x,y\right) \tag{3}

其中 U_{low}(x,y) 是物体信息中的低频部分。因此，只包含有用信息的图像可以表示为：

N_{homogeneous}(x,y)=N\left(x,y\right)-N_{LPF}\left(x,y\right) \tag{4}

从光到数字的转换用 f 表示。在光场的表达式中：

N_{homogeneous}\left(x,y\right)=\ f\left[I_{obj}^{high}T+I_{sna}\right] \tag{5}

通过增强原始图像的均匀成分，消除了光照的干扰。

Maximum histogram equalization

HE是一种简单的图像增强算法，通过CDF[23]的强度投影来增强原始对比度。假设允许的离散值为\mathbb{Z}\in[0,L-1]，其中L是相机的最大灰度值。图像的直方图是H(i)=n(i)/MN，其中i代表\mathbb{Z}中的一个值，H(i)表示具有强度i的像素数量。M，N分别是垂直和水平方向的像素数量。CDF表示为D(i)=\sum\limits_{k=0}^{i}H(k)/MN。作者将增强后的强度表示为e。作者提出通过上述方程的最大直方图均衡化（MHE）：

e=\left(L-1\right)\left[D(i)-D\left(i_{min}\right)\right]/\left(D\left(i_{max}\right)-D\left(i_{min}\right)\right) \tag{6}

这种增强技术通过保持原始信号值与CDF的原始信号值关系，有效地放大了原始信号，并保持了高保真度。

Contrast of the enhanced image

物体的对比度定义为：

C=\frac{i_{bright}-i_{dark}}{i_{bright}+i_{dark}} \tag{7}

作者将非均匀照明的图像的直方图表示为H^{{}^{\prime}}(i)，物体和背景的强度分别为i_{bright}和i_{dark}。光照校正后的直方图为H(i)。然后作者比较HE增强(C_{HE})和HMIHE增强(C_{HMHE})的受污染图像的对比度：

C_{HE}=\frac{\Sigma_{k=0}^{i_{bright}}H^{{}^{\prime}}(k)-\Sigma_{k=0}^{i_{dark}}H^{{}^{\prime}}(k)}{\Sigma_{k=0}^{i_{bright}}H^{{}^{\prime}}(k)+\Sigma_{k=0}^{i_{dark}}H^{{}^{\prime}}(k)} \tag{8}

C_{HMHE}=\frac{\Sigma_{k=0}^{i_{bright}}H(k)-\Sigma_{k=0}^{i_{dark}}H(k)}{\Sigma_{k=0}^{i_{bright}}H(k)+\Sigma_{k=0}^{i_{dark}}H(k)-2H\left(i_{min}\right)} \tag{9}

从方程式(8)、(9)可以看出，IMHE增强图像的对比度在分母中包含了一个负项，因此与HE增强图像相比，假设两者的直方图相同，对比度的放大是显著的。图1（a）、（b）、（c）和（d）分别展示了受污染图像的原始和增强直方图，以及未受污染图像的原始和增强直方图。由于光照的影响，直方图不可避免地拓宽，导致信号增强空间减弱，以及不希望的光照增强，从而影响图像质量。

3 The algorithm

算法部分开始于第3节。

Overview

IMHE由三部分组成。背景光提取、视觉增强和图像增强。在背景光提取模块中，提出了一种基于结构相似性指数测量（SSIM）[24]的估计器，以确保仅过滤背景光，保留所需的信号。在视觉感知优化模块中，它解决了由于对图像应用低通滤波器（LPF）而引入的灰度条带问题。在图像增强模块中，它拉伸了整个图像的直方图。最后，应用均值滤波生成最终的图像输出。

Inhomogeneous illumination estimation

对于由不均匀光照损坏的图像，估计背景光是至关重要的。由于不均匀光照通常是一个低频信号，作者可以使用低通滤波器来估计并移除背景光。然而，对于复杂场景，滤波器参数的选择至关重要。提出了一种基于图像特征的自适应算法，可自动估计适当的滤波器大小，在有效去除非均匀光照的同时保留图像细节。

背景光估计原理是低通滤波。作者对图像进行二维快速傅里叶变换，然后将低通滤波器频谱与图像频谱相乘。作者通过取逆傅里叶变换得到低频图像。这个过程与同态滤波[25]类似。为了防止出现负值，作者在滤波后的图像上加上原始图像的平均值。

I_{filtered}(x,y)=I_{congruent}(x,y)+\overline{I\left(x,y\right)} \tag{10}

作者可以写出原始图像和滤波后图像的结构相似性（SSIM）：

SSIM\left(X,Y\right)=\frac{2\mu_{X}\mu_{Y}\left(2\sigma_{XY}+C_{2}\right)}{ \left(\mu_{X}^{2}+\mu_{Y}^{2}+C_{1}\right)\left(\sigma_{X}^{2}+\sigma_{Y}^{2}+ C_{2}\right)} \tag{11}

其中X、Y分别是原始图像和滤波后图像，\sigma_{x}和\sigma_{y}是方差，\sigma_{xy}是协方差，C_{1}=(K_{1}L)^{2}，C_{2}=(K_{2}L)^{2}是调节常数，K_{1}、K_{2}是两个小常数。SSIM具有足够的分辨率来判断两幅图像之间的相似性。在作者的研究中，确定低通滤波截止核k_{cutoff}是否足够大的标准是由SSIM关于核大小的第一和第二导数的绝对值给出的如下表达式：

k_{cutoff}=max\left\{argmin_{k}\left|\frac{\partial^{i}SSIM\left(X,Y_{[k]} \right)}{\partial[k]^{i}}\right|\right\},\ for\ i=1,\ 2 \tag{12}

图1：不同图像的直方图说明。(a) 在不协调光照的低能见度条件下的直方图。(b) 原始直方图。(c) 对(a)的直方图均衡化 (HE)。(d) 对(b)的改进型直方图均衡化 (MHE)。

其中 \partial 是微分算子，[\cdot] 和 |\cdot| 分别表示取变量的整数和绝对值。这些导数在调整低通滤波器的截止核以评估对图像质量的影响时非常有用。最初，随着核开始排除图像的有效信息，SSIM会出现显著下降，表明失去了重要的细节。这个阶段突出了导数的重要性：第一导数捕捉结构相似性迅速下降的程度，而第二导数识别变化率发生关键点的位置。一旦滤波器移除了所有有效信息，进一步扩大核的大小对SSIM的影响最小，因为剩余的低频成分不会显著影响图像的结构相似性。通过应用两个导数的最小绝对值来消除不相关的噪声和保持重要的结构特征之间的最优平衡，确保所选的截止核通过保持重要的结构信息完整来维护图像质量。### 视觉优化

直接将低通滤波应用于图像会导致灰度条带效应。如果这种现象得不到解决，最终的增强图像将具有较差的视觉感知。这种现象的原因是图像的低频成分在空间域中以阶梯状的方式减少，导致类似轮廓的图像。此外，在执行全局映射时，这些条带会被放大，造成图像干扰。作者通过向条带添加干扰来消除这些人工痕迹：

I_{filtered}^{visual}(x,y)=I_{filtered}(x+m,y+n)+n(x+m,y+n) \tag{13}

图2：光照估计算法的演示。(a), (d) 原始图像，(b), (e) 滤波后的图像，以及(c), (f) 与核大小相关的SSIM关系。

其中 I_{filtered}^{visual} 是优化后的图像。n 是添加的高斯噪声，其标准差满足 \sigma(n)=\max{[gradient(I_{filtered})]}/3。视觉优化算法应用前后的图像对比显示在图3中，其中图3 (a)-(d) 展示了原始滤波后的图像，而图3 (e)-(h) 是应用视觉优化算法后的滤波图像。特别是，图3(a), (d) 是雾室中的处理结果，而图3 (b), (c) 是户外自然低能见度场景。从结果可以看出，应用视觉优化算法后，条带效应得到了视觉上的解决。### 图像增强

所使用的图像增强算法在2.3节中提到。HMHE是对HE的改进。当图像被大核滤波后，它们在直方图上呈现出密集分布，导致常规HE无法放大图像。通过线性拉伸后增强的图像，HMHE遵循HE的规则，达到原始图像可达到的最大对比度，从而在保持图像保真的同时实现高对比度。

4 Experimental results and discussion

第四部分：实验结果与讨论开始。

Experiment

为了彻底验证本文提出的算法的有效性，作者在室内和室外环境中都进行了实验。因此，作者的数据涵盖了涉及室内照明和人工雾以及自然阳光和自然雾的场景。为了严格评估算法的鲁棒性，实验使用了各种型号的相机和镜头。实验中使用的相机包括Basler acA3088-57um、PCO EDGE 4.2和Hamamatsu C11440-22CU，分别具有3088x2064像素、8位深度；2048x2048像素、16位深度；以及2048x2048像素、16位深度。所使用的镜头为Computar M7528-MP和Zeiss Milvus 2/100M。

室内实验在中国上海的中国气象局能见度校准实验室进行。作者使用了不同空间频率、形状和距离的目标来模拟真实世界的自然场景。由于室内雾室中雾密度的可控性，作者能够获得无雾的清晰图像，这为评估算法提供了显著优势。户外实验的数据用于进一步验证算法的可靠性。

Evaluation metrics

为了定量评估，作者选择了以下图像质量评估（IQA）指标：

平均局部对比度（ALC）[26] 定义为：

图3：在不同场景下视觉优化算法处理前（a）-(d）和处理后（e）-(h）的滤波图像比较。

ALC=\frac{1}{GF}\Sigma_{i}\frac{\sigma_{i}^{2}}{\mu_{i}+c} \tag{14} 其中，\sigma_{i}^{2}、\mu_{i} 分别表示图像第i块的方差和均值，c 是一个小的常数，设为0.0001。块是通过100 x 100滑动窗口 w 分割的。图像被分割成 G\times F 个块。

平均增强度量（MEME）[27] 与图像对比度高度相关，定义为EME的平均值：

EME=\frac{1}{w^{2}}\Sigma_{k=1}^{w}\Sigma_{l=1}^{w}20\mathrm{log}_{10}\left( \frac{I_{max;k,l}}{I_{min;k,l}+c}\right) \tag{15}

其中 I_{max;k,l} 和 I_{min;k,l} 分别是局部图像区域内的最大和最小值。

信息熵（IE）评估图像的平均熵。熵越低，表示图像越纯，结构越清晰[28]。对于任何给定的图像，IE的定义是：

IE=\ -\Sigma p_{i}\mathrm{log}_{2}\,p_{i} \tag{16}

其中 p_{i} 是图像中特定灰度的概率。

与MEME类似，MAME [29] 是基于对比熵的对比度计算方法，其中AME表示为：

AME=\frac{1}{w^{2}}\Sigma_{k=1}^{w}\Sigma_{l=1}^{w}20\mathrm{ln}\left(\frac{I_ {max;k,l}-I_{min;k,l}}{I_{max;k,l}+I_{min;k,l}+c}\right) \tag{17}

这个定义直接计算了小区域内的对比度。因此，AME越接近0，局部对比度越大。

Comparisons with other image enhancement methods

图4：在雾室中三种不同场景下使用各种算法的图像增强效果视觉比较：（a）分辨率测试图，（b）植物图案，以及（c）群组和飞机图案。

在本文中，作者将所提出的算法与传统的低能见度图像增强算法进行了比较，包括HE、CLAHE [30]、暗通道先验（DCP）[31]和SSR。对于CLAHE算法，归一化图像的剪切限制设置为0.02，图像分割为8x8块。DCP使用每通道15x15像素的 Patch 大小。SSR算法的低通滤波器标准差设置为50像素。雾室中的实验数据及比较结果如图4所示。图4（a）-（c）展示了雾室内的三个目标，最左侧行显示的是清晰条件下的数据。第二至第七列分别展示了原始图像、HE、CLAHE、DCP、SSR以及本文提出算法的结果。数据比较显示，在室内严重不均匀光照条件下，HE放大了不均匀光照干扰同时增强了信号。由于块间光照强度差异显著，CLAHE难以无缝整合每个图块的光照强度，导致明显的块状伪影。由于室内场景缺乏一致的背景光，DCP的估计与实际衰减模型偏差较大，使得每通道图像和背景光估计对图像恢复无效。考虑到同态滤波，SSR成功地恢复了图像信息，但恢复的对比度较低，使得信号难以清晰观察。在所讨论的算法中，本文提出的算法在局部对比度和图像均匀性方面取得了最佳效果。

与图4对应的定量评估结果如表1所示，其中最佳分数以粗体突出显示。在评估如ALC、EME、AME等对比度指标时，本文的工作在大多数场景中一致地取得了更好的分数，表明了局部对比度增强的优越性。此外，在IE指标方面，作者的算法始终记录最低值，表明实现了最高的图像纯度。

表1：雾室中的ALC、MEME、IE、MAME值

表2：户外场景中的ALC、MEME、IE、MAME值

户外场景实验数据的比较分析如图5所示。图5（a）-（c）展示了三个不同的户外场景。从左至右，每组分别展示了原始图像以及通过HE、CLAHE、DCP、SSR和本文提出算法处理的结果。与室内发现类似，HE在户外环境的表现与其室内应用相似。由于光照不规则性的减小，CLAHE的恢复质量有了实质性的改善，几乎察觉不到块状效应，并保留了图像细节。鉴于户外场景与大气衰减模型更为接近，DCP与室内应用相比显示出增强的视觉效果。尽管SSR能够恢复图像，但对比度仍然相对较低。值得注意的是，本文提出的算法成功地恢复了户外场景中如图5（a）中的房屋、图5（b）中的道路和图5（c）中的房屋等关键视觉元素。定量评估结果如表2所示，其中最佳分数以粗体突出显示。

5 结论

本研究提出了一种新型的算法，旨在极端低能见度条件下大幅提升图像对比度。算法通过过滤过程战略性地消除冗余信息，然后进行图像增强。由于在低能见度条件下普遍存在的散射光通常会引起低频分量干扰，作者的方法有效地切除了这种冗余信息。滤波器的适当性是基于过滤后图像与原始图像的结构相似性来判断的，当相似度显著变化时，图像被认为不含有价值的信息。过滤后，图像可能会出现灰度条带效应，通过有意识地引入扰动，有效地缓解了这一问题，从而确保了视觉呈现的改善。算法以图像的全面全局增强作为结束。通过严格的室内外实验验证，该算法已显著提高了图像对比度，从而在能见度极低条件下最大化了物体的可见性。

参考

[1].Inhomogeneous illuminated image enhancement under extremely low visibility condition.