实时移动通信中,基于时空域联合约束的低照度视频增强技术研究

视频通话是微信的基础功能之一,在实际应用中受光照条件及视频采集设备能力所限,视频发暗是影响主观体验的重要因素。我们尝试改进这个问题,欢迎留言交流! 该项工作的主要成果发表在ISCAS 2017国际会议上。("Low-Lighting Video Enhancement Using Constrained Spatial-Temporal Model for Real-Time Mobile Communication", ISCAS, pp:595-598, Baltimore, MD, USA, 2017)

http://iscas2017.org/

应用背景

目前绝大多数智能手机具有了视频拍摄功能,但由于受镜头尺寸和成本的限制,采集的视频图像的单像素上的光通量较小。尤其室内场景光照不足或者低照度的情况下,部分手机由于曝光不足导致视频明显偏暗,限制了其实时的移动视频通话的应用。低照度视频增强技术,是一种通过修改视频图像的像素值来有效的改善此类场景下的视频效果,提升客户的主观感受的视频图像处理技术。通过该技术来弥补低照度下手机拍摄的视频图像,可以扩大视频通话的应用场景,提升用户的产品体验。

相关技术

现有的低照度视频图像增强技术主要借鉴低照度图像增强的一些方法,具体举几个例子:例如,直方图均衡(Hist Equalization):增强曲线为图像的概率累积分布函数,该方法能最大程度地拉伸整个图像的对比度。由于暗场景的图像其直方图存在高峰,经过直方图均衡处理后,导致图像过度增强,从而使得图像失真,同时容易放大噪声。例如,对比度拉伸(Contrast Stretching):通过设计合适的映射曲线,控制全局各个灰阶增强幅度。但映射曲线不具备自适应性,对不同图像要设计专门的增强曲线,才可以达到增强图像的效果。Gamma校正是对比度拉伸的一种。例如,同态滤波(Homomorphic Filtering):是一种频域增强算法。像素值由光照分量和反射分量决定。其中光照分量位于低频段,反射分量位于高频段。将图像映射到频域后,将光照分量和反射分量在频域分开,再分别进行增强处理。该方法适合光照不均匀情况下的增强,如同时包含室内和室外场景。因此不适应于视频通话中的增强。其他的增强算法,如色调映射(Tone Mapping)和Retinex等方法,存在计算量过大或者容易在边缘处产生光晕等缺点,都不能直接用于实时视频增强的场合。

设计动机

在实时的移动视频通话的应用条件下,我们简要说明现有技术的缺点及要解决的问题:

(1)现有的视频增强方案主要是借鉴单幅图像的增强方法,因此只考虑单帧信息,没有考虑相邻帧之间的相关性。导致各帧间增强幅度不一致,从而出现闪烁或者颗粒现象,降低了主观效果。且对于亮度正常的图像,其增强算法往往过渡处理。

(2)在实时视频聊天的场景中,对计算量及存储空间非常敏感。实用算法都必须在较小的计算量和存储需求,达到最佳的增强效果。而类似色调映射和Retinex的计算量过大,即便经过优化也无法适应手机端的实时视频处理。

通过分析已有技术的技术特点和应用条件的限制因素,我们希望设计的算法具有以下几个特点:其一,增强低照度的视频图像。其二,连续的视频图像不产生闪烁。其三,对亮度正常的图像不做夸张的再增强。其四,算法的计算复杂度能够满足实时移动视频通话的限制。这样的设计思路,为后续的算法设计和实验验证提供了方向和标准。

时空域联合约束的低照度视频增强技术

本文提出了一种实时移动通信中基于时空域联合约束的低照度视频增强技术。在该技术中我们设计了图像空域的亮度增强约束和对比度增强约束,以及视频帧时域的亮度一致性约束,并对提出的联合约束框架给出了凸优化的闭合解。下面详细对每一个约束的设计进行详尽介绍,最后给出问题的优化解。该方法在YUV420空间进行,将亮度分量Y和色度分量UV分开,只对Y分量进行处理,保持UV颜色信息。图像灰度的取值范围为[0-255]。

首先,低照度视频图像增强的最重要的处理就是亮度增强。一种最为直接的方式就是使用一族增强函数来定义亮度值增强,如图1所示:

图1. 亮度值的增强函数族(横轴为低照度亮度值,纵轴为增强后的亮度值)。

在我们的设计中,通过采集同一场景下低照度和正常照度的视频数据对,通过离线训练的方式,得到了基于训练样本的亮度增强函数族FI。

然而,由于单纯的提升整体像素的亮度值,会使得图像整体的对比度不均衡,仍然不能提供好的人眼主观视觉感受。我们提出了自适应的视频图像亮度值域调整的算法,进而通过新的值域范围来对图像进行直方图的均衡化调整。我们统计图像的像素点的值域范围时,排除掉最小的d%个像素和最大的d%个像素的干扰,将中间范围内的像素最大值和最小值进行调整,调整策略为自适应软阈值的方法。从而生成数据自适应的对比度增强函数FC。

只从单一的图像维度来考虑增强的问题,往往会产生相邻图像帧之间的亮度跳变,即闪烁现象。为此我们将当前帧和相邻多帧的平均亮度的差异代价,构造出代价函数G,来约束由亮度增强和对比度增强函数可能带来的闪烁现象。

综上我们设计的优化问题为:

易知三个约束项均为二次项,问题可以通过最小二乘法求解,如下:

本文算法的创新性和贡献:

(1)通过离线的方法训练亮度增强函数,用以合理的提升亮度。根据当前低照度视频图像自适应的生成对比度增强函数,用以重新调整图像对比度。根据已处理帧的信息,自适应的调整临近帧间的亮度一致性,抑制闪烁现象。

(2)有效的将上述(1)的影响因素,统一成正则化的最优化框架下,来同时约束满足上文前三点项设计要求(增强低照度的视频图像,连续的视频图像不产生闪烁以及对亮度正常的图像不做夸张的再增强),并给出满足实时应用需求的求解方式。

(3)该算法具有较低的计算复杂度和极强的鲁棒性,实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。

实验结果

我们通过实验数据来验证我们的方法的性能。首先我们给出不同场景下不同暗图像增强算法的主观性能比较。

图2. Bonsai图片上的主观实验结果,a表示原始暗视频图像,b-e分别表示文献[1][2][3][4]的方法,f表示我们提出的方法处理的视频图像。

图3. Face图片上的主观实验结果,a表示原始暗视频图像,b-e分别表示文献[1][2][3][4]的方法,f表示我们提出的方法处理的视频图像。

图2和图3分别给出了低照度条件下景物和人物的增强效果。从图中可以看出我们的方法具有相对较好的主观效果。

图4. Street视频上连续两帧的主观实验结果,a表示原始暗视频图像,b-e分别表示文献[1][2][3][4]的方法,f表示我们提出的方法处理的视频图像。

图4给出了连续的视频帧中抑制闪烁效果的主观结果。如图可以看出一些方法存在着视频图像亮度闪烁的现象,我们的方法在增强亮度的同时不存在闪烁的现象。

图5. Kimino视频图像的主观实验结果,a表示原始暗视频图像,b-e分别表示文献[1][2][3][4]的方法,f表示我们提出的方法处理的视频图像。

图5给出了常规亮度的视频帧,我们的方法能够尽可能的不影响已经足够明亮的视频图像,避免了过度的增强。

进而我们通过一系列的客观的数据来从另一个侧面评估我们的算法。表1中,我们通过将算法统一到Matlab平台上进行公平的比较,分析各个算法的时间复杂度,可以看出我们的方法具有最好的实时性能,且在实际应用中该算法仅仅需要非常少的CPU计算代价,且具有良好的汇编优化效果,并不需要大规模的GPU等其他复杂计算资源。

表2中,我们通过利用无参考的质量评价NR-CDIQA方法,分析各个算法的客观质量,可以看出我们的方法具有最好的视觉性能。值得注意的是,在常规亮度的视频图像Kimino中,我们方法处理的得分最接近于原视频图像的打分,即我们没有夸张的过度增强。

参考文献

[1] K. He, J. Sun, and X. Tang, “Single Image Haze Removal Using Dark Channel Prior,” in Proc. IEEE Conf. Computer Vision and Pattern Recognition., pp. 1956-1963, 2009.

[2] Y. Li, Robby T. Tan, and Michael S. Brown, “Nighttime Haze Removal with Glow and Multiple Light Colors,” in Proc. IEEE International Conference on Computer Vision, pp. 226-234, 2015.

[3] X. Dong, G. Wang, Y. Pang, W. Li, J. Wen, W. Meng and Lu, Y, “Fast efficient algorithm for enhancement of low lighting video,” in Proc. IEEE International Conference on Multimedia and Expo, 2011.

[4] W. Shi, C. Chen, F. Jiang, D. Zhao and W. Shen, “Group-based sparse representation for low lighting image enhancement,” in Proc. IEEE International Conference on Image Processing, pp. 4082-4086, 2016.

[5] Y. Fang, K. Ma, Z. Wang, W. Lin, Z. Fang, and G. Zhai, “No-Reference Quality Assessment of Contrast-Distorted Images Based on Natural Scene Statistics,” IEEE Signal Processing Letter, vol. 22, no. 7, pp. 838-842, 2015.

结语

本文针对低照度视频序列,为了增强视频图像的主观视觉质量,设计了正则化的最优化框架(其中包含:亮度增强代价函数,对比度增强代价函数和亮度一致性代价函数),并给出满足实时应用需求的求解方式。该算法具有较低的计算复杂度和极强的鲁棒性,实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。相关技术全部为组内自研,已获中国专利授权一项且中稿国际视频编码领域的重要会议文章一篇。

本文来源于:WeMobileDev 微信公众号

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏超智能体

其实你早就学会了“英语”

1139
来自专栏AI科技大本营的专栏

我们从1400篇机器学习文章中挑出了Top 10

在过去的一个月中,Medium上机器学习深度爱好者必关注的账号Mybridge从近 1400 篇有关机器学习的文章中挑选了最有可能帮助职业生涯发展的 10 篇推...

841
来自专栏深度学习入门与实践

【机器学习Machine Learning】资料大全

  昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^)   推荐几本好书: 1.Pattern Recogni...

4625
来自专栏CreateAMind

关于深度学习的机理,优化和网络结构的一些个人观点

博士一把年纪,理论物理已经没心读下去了,不知廉耻来知乎卖萌,还是深度学习卖萌,才转行半年多就敢出来卖,好羞耻呀~喵~

992
来自专栏小樱的经验随笔

【资料分享】500篇干货解读人工智能新时代

500篇干货解读人工智能新时代 本文主要目的是为了分享一些机器学习以及深度学习的资料供大家参考学习,整理了大约500份国内外优秀的材料文章,打破一些学习人工智能...

3314
来自专栏CDA数据分析师

MIT公开课-机器学习导论(附视频中字)

MIT6.0002课程《计算机科学与用Python编程》(Computer Science and Programming in Python)针对没有或有少量...

19710
来自专栏机器之心

业界 | 谷歌全新神经网络架构Transformer:基于自注意力机制,擅长自然语言理解

选自Google Research Blog 机器之心编译 参与:路雪、黄小天、蒋思源 近日,继论文《Attention Is All You Need》之后,...

5177
来自专栏AI研习社

机器学习应该准备哪些数学预备知识?

原题目如下: 机器学习应该准备哪些数学预备知识? 数据分析师,工作中经常使用机器学习模型,但是以调库为主。 自己一直也在研究算法,也裸写过一些经典的算法。 最...

4216
来自专栏AI科技大本营的专栏

牛!何恺明包揽2项ICCV 2017最佳论文奖!这位高考状元告诉你什么是开挂的人生

大神终究是大神! 刚刚,AI 科技大本营获悉,继两次荣获 CVPR 最佳论文奖之后,何恺明参与的两篇最新论文又分别摘下 ICCV 2017 的最佳论文奖(Bes...

3475
来自专栏AI科技大本营的专栏

神探Sherlock如何用AI破案?教你在Excel中搭建一个人脸识别CNN网络

【导读】人脸识别技术已经有了非常广泛的应用,国内大规模监控系统背后运用的技术就是人脸识别。

721

扫码关注云+社区