实时移动通信中,基于时空域联合约束的低照度视频增强技术研究

视频通话是微信的基础功能之一,在实际应用中受光照条件及视频采集设备能力所限,视频发暗是影响主观体验的重要因素。我们尝试改进这个问题,欢迎留言交流! 该项工作的主要成果发表在ISCAS 2017国际会议上。("Low-Lighting Video Enhancement Using Constrained Spatial-Temporal Model for Real-Time Mobile Communication", ISCAS, pp:595-598, Baltimore, MD, USA, 2017)

http://iscas2017.org/

应用背景

目前绝大多数智能手机具有了视频拍摄功能,但由于受镜头尺寸和成本的限制,采集的视频图像的单像素上的光通量较小。尤其室内场景光照不足或者低照度的情况下,部分手机由于曝光不足导致视频明显偏暗,限制了其实时的移动视频通话的应用。低照度视频增强技术,是一种通过修改视频图像的像素值来有效的改善此类场景下的视频效果,提升客户的主观感受的视频图像处理技术。通过该技术来弥补低照度下手机拍摄的视频图像,可以扩大视频通话的应用场景,提升用户的产品体验。

相关技术

现有的低照度视频图像增强技术主要借鉴低照度图像增强的一些方法,具体举几个例子:例如,直方图均衡(Hist Equalization):增强曲线为图像的概率累积分布函数,该方法能最大程度地拉伸整个图像的对比度。由于暗场景的图像其直方图存在高峰,经过直方图均衡处理后,导致图像过度增强,从而使得图像失真,同时容易放大噪声。例如,对比度拉伸(Contrast Stretching):通过设计合适的映射曲线,控制全局各个灰阶增强幅度。但映射曲线不具备自适应性,对不同图像要设计专门的增强曲线,才可以达到增强图像的效果。Gamma校正是对比度拉伸的一种。例如,同态滤波(Homomorphic Filtering):是一种频域增强算法。像素值由光照分量和反射分量决定。其中光照分量位于低频段,反射分量位于高频段。将图像映射到频域后,将光照分量和反射分量在频域分开,再分别进行增强处理。该方法适合光照不均匀情况下的增强,如同时包含室内和室外场景。因此不适应于视频通话中的增强。其他的增强算法,如色调映射(Tone Mapping)和Retinex等方法,存在计算量过大或者容易在边缘处产生光晕等缺点,都不能直接用于实时视频增强的场合。

设计动机

在实时的移动视频通话的应用条件下,我们简要说明现有技术的缺点及要解决的问题:

(1)现有的视频增强方案主要是借鉴单幅图像的增强方法,因此只考虑单帧信息,没有考虑相邻帧之间的相关性。导致各帧间增强幅度不一致,从而出现闪烁或者颗粒现象,降低了主观效果。且对于亮度正常的图像,其增强算法往往过渡处理。

(2)在实时视频聊天的场景中,对计算量及存储空间非常敏感。实用算法都必须在较小的计算量和存储需求,达到最佳的增强效果。而类似色调映射和Retinex的计算量过大,即便经过优化也无法适应手机端的实时视频处理。

通过分析已有技术的技术特点和应用条件的限制因素,我们希望设计的算法具有以下几个特点:其一,增强低照度的视频图像。其二,连续的视频图像不产生闪烁。其三,对亮度正常的图像不做夸张的再增强。其四,算法的计算复杂度能够满足实时移动视频通话的限制。这样的设计思路,为后续的算法设计和实验验证提供了方向和标准。

时空域联合约束的低照度视频增强技术

本文提出了一种实时移动通信中基于时空域联合约束的低照度视频增强技术。在该技术中我们设计了图像空域的亮度增强约束和对比度增强约束,以及视频帧时域的亮度一致性约束,并对提出的联合约束框架给出了凸优化的闭合解。下面详细对每一个约束的设计进行详尽介绍,最后给出问题的优化解。该方法在YUV420空间进行,将亮度分量Y和色度分量UV分开,只对Y分量进行处理,保持UV颜色信息。图像灰度的取值范围为[0-255]。

首先,低照度视频图像增强的最重要的处理就是亮度增强。一种最为直接的方式就是使用一族增强函数来定义亮度值增强,如图1所示:

图1. 亮度值的增强函数族(横轴为低照度亮度值,纵轴为增强后的亮度值)。

在我们的设计中,通过采集同一场景下低照度和正常照度的视频数据对,通过离线训练的方式,得到了基于训练样本的亮度增强函数族FI。

然而,由于单纯的提升整体像素的亮度值,会使得图像整体的对比度不均衡,仍然不能提供好的人眼主观视觉感受。我们提出了自适应的视频图像亮度值域调整的算法,进而通过新的值域范围来对图像进行直方图的均衡化调整。我们统计图像的像素点的值域范围时,排除掉最小的d%个像素和最大的d%个像素的干扰,将中间范围内的像素最大值和最小值进行调整,调整策略为自适应软阈值的方法。从而生成数据自适应的对比度增强函数FC。

只从单一的图像维度来考虑增强的问题,往往会产生相邻图像帧之间的亮度跳变,即闪烁现象。为此我们将当前帧和相邻多帧的平均亮度的差异代价,构造出代价函数G,来约束由亮度增强和对比度增强函数可能带来的闪烁现象。

综上我们设计的优化问题为:

易知三个约束项均为二次项,问题可以通过最小二乘法求解,如下:

本文算法的创新性和贡献:

(1)通过离线的方法训练亮度增强函数,用以合理的提升亮度。根据当前低照度视频图像自适应的生成对比度增强函数,用以重新调整图像对比度。根据已处理帧的信息,自适应的调整临近帧间的亮度一致性,抑制闪烁现象。

(2)有效的将上述(1)的影响因素,统一成正则化的最优化框架下,来同时约束满足上文前三点项设计要求(增强低照度的视频图像,连续的视频图像不产生闪烁以及对亮度正常的图像不做夸张的再增强),并给出满足实时应用需求的求解方式。

(3)该算法具有较低的计算复杂度和极强的鲁棒性,实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。

实验结果

我们通过实验数据来验证我们的方法的性能。首先我们给出不同场景下不同暗图像增强算法的主观性能比较。

图2. Bonsai图片上的主观实验结果,a表示原始暗视频图像,b-e分别表示文献[1][2][3][4]的方法,f表示我们提出的方法处理的视频图像。

图3. Face图片上的主观实验结果,a表示原始暗视频图像,b-e分别表示文献[1][2][3][4]的方法,f表示我们提出的方法处理的视频图像。

图2和图3分别给出了低照度条件下景物和人物的增强效果。从图中可以看出我们的方法具有相对较好的主观效果。

图4. Street视频上连续两帧的主观实验结果,a表示原始暗视频图像,b-e分别表示文献[1][2][3][4]的方法,f表示我们提出的方法处理的视频图像。

图4给出了连续的视频帧中抑制闪烁效果的主观结果。如图可以看出一些方法存在着视频图像亮度闪烁的现象,我们的方法在增强亮度的同时不存在闪烁的现象。

图5. Kimino视频图像的主观实验结果,a表示原始暗视频图像,b-e分别表示文献[1][2][3][4]的方法,f表示我们提出的方法处理的视频图像。

图5给出了常规亮度的视频帧,我们的方法能够尽可能的不影响已经足够明亮的视频图像,避免了过度的增强。

进而我们通过一系列的客观的数据来从另一个侧面评估我们的算法。表1中,我们通过将算法统一到Matlab平台上进行公平的比较,分析各个算法的时间复杂度,可以看出我们的方法具有最好的实时性能,且在实际应用中该算法仅仅需要非常少的CPU计算代价,且具有良好的汇编优化效果,并不需要大规模的GPU等其他复杂计算资源。

表2中,我们通过利用无参考的质量评价NR-CDIQA方法,分析各个算法的客观质量,可以看出我们的方法具有最好的视觉性能。值得注意的是,在常规亮度的视频图像Kimino中,我们方法处理的得分最接近于原视频图像的打分,即我们没有夸张的过度增强。

参考文献

[1] K. He, J. Sun, and X. Tang, “Single Image Haze Removal Using Dark Channel Prior,” in Proc. IEEE Conf. Computer Vision and Pattern Recognition., pp. 1956-1963, 2009.

[2] Y. Li, Robby T. Tan, and Michael S. Brown, “Nighttime Haze Removal with Glow and Multiple Light Colors,” in Proc. IEEE International Conference on Computer Vision, pp. 226-234, 2015.

[3] X. Dong, G. Wang, Y. Pang, W. Li, J. Wen, W. Meng and Lu, Y, “Fast efficient algorithm for enhancement of low lighting video,” in Proc. IEEE International Conference on Multimedia and Expo, 2011.

[4] W. Shi, C. Chen, F. Jiang, D. Zhao and W. Shen, “Group-based sparse representation for low lighting image enhancement,” in Proc. IEEE International Conference on Image Processing, pp. 4082-4086, 2016.

[5] Y. Fang, K. Ma, Z. Wang, W. Lin, Z. Fang, and G. Zhai, “No-Reference Quality Assessment of Contrast-Distorted Images Based on Natural Scene Statistics,” IEEE Signal Processing Letter, vol. 22, no. 7, pp. 838-842, 2015.

结语

本文针对低照度视频序列,为了增强视频图像的主观视觉质量,设计了正则化的最优化框架(其中包含:亮度增强代价函数,对比度增强代价函数和亮度一致性代价函数),并给出满足实时应用需求的求解方式。该算法具有较低的计算复杂度和极强的鲁棒性,实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。相关技术全部为组内自研,已获中国专利授权一项且中稿国际视频编码领域的重要会议文章一篇。

本文来源于:WeMobileDev 微信公众号

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【11分钟训练完ImageNet】DNN训练再破纪录,1024 CPU Caffe开源

【新智元导读】此前,伯克利、TACC和UC戴维斯的研究人员使用新算法,在24分钟内训练完AlexNet,1小时训练完ResNet,创下了纪录。现在,他们继续推进...

43211
来自专栏机器之心

浅析Geoffrey Hinton最近提出的Capsule计划

选自知乎专栏 作者:SIY.Z 机器之心经授权转载 本文有可能是知乎上分析介绍深度学习最为全面的文章之一。希望做物理的、做数学的、做生物的、做化学的、做计算机、...

35714
来自专栏AI科技评论

大会 | 腾讯AI Lab独家解析ICML 2017五大研究热点

AI科技评论按:ICML已经落下帷幕,但精彩解析还在继续,下文为腾讯AI Lab机器学习团队在会后对五大研究领域的回顾与独家解析。 腾讯AI Lab去年四月成立...

2634
来自专栏AI研习社

浅析Geoffrey Hinton最近提出的Capsule计划

Geoffrey Hinton 以「深度学习之父」和「神经网络先驱」闻名于世,其对深度学习及神经网络的诸多核心算法和结构(包括「深度学习」这个名称本身,反向传播...

3379
来自专栏专知

【深度】浅析Geoffrey Hinton最近提出的Capsule计划

【导读】本文全面介绍了深度学习的来龙去脉以及Hinton最近提出的Capsule计划。希望做物理的、做数学的、做生物的、做化学的、做计算机、包括做科幻的都能看的...

2826
来自专栏机器之心

2017年的10大AI顶会,风起云涌的故事 | 机器之心年度盘点

3498
来自专栏机器之心

业界 | 腾讯AI Lab获得计算机视觉权威赛事MSCOCO Captions冠军

32312
来自专栏AI科技评论

学界 | 在深度学习时代用 HowNet 搞事情

2017 年 12 月底,清华大学张钹院士做了一场题为《AI 科学突破的前夜,教授们应当看到什么?》的精彩特邀报告。他认为,处理知识是人类所擅长的,而处理数据是...

35210
来自专栏数据派THU

清华刘知远:教你用HowNet在深度学习时代搞事情(附论文下载)

来源:知乎 作者:刘知远 本文共3539字,建议阅读11分钟。 本文为大家解读什么是HowNet,并且可以用HowNet在深度学习时代做些什么。 2017年12...

4118
来自专栏计算机视觉战队

视觉的深度学习与网络的构建,训练及测试

已经很久没有更新平台的内容,今天抽空来给大家分享一些关于计算机视觉领域的一个重点,那就是“深度学习”,接下来就来详细聊聊深度学习(为什么要深度学习特征???)...

3378

扫码关注云+社区