图像模糊度评价性能提升方法简介

背景介绍

随着多媒体技术的发展,图像以及视频服务逐渐成为人们获取信息的主要载体。传统上,视频或图像质量的好坏需要人眼去看,并且为了得到一个合适的评价分数,一般需要组织多人评价之后取其平均意见。但在实际生活中,面对海量视频及图像服务,纯人力评价成本过高,基本无法实现。而图像质量评价技术(Image Quality Assessment,IQA), 目的是通过相关算法,在不需要人眼观看的情况下,能够对任一图像进行质量评价,输出与人眼主观感受贴近甚至一致的评价分数。IQA算法根据是否需要原始无损图像,可以分成三大类:无参考(No Reference, NR)、半参考(Reduced reference, RR)和全参考(Full Reference, FR)评价。全参考质量评价主要是将失真视频图像和无损参考图像进行对比,评价失真图像相对无损图像的质量损失;半参考质量评价则需要从失真图像和无损图像中分别提取某些有效特征进行分析对比,得出对失真图像的质量评价;无参考评价不需要任何无损图像,直接评价失真图像,是最具有实际应用价值的评价方式。而图像质量评价一般要面对多种损伤类型,最常见的一种就是模糊,它显著地影响人的主观感受,是用户体验(Quality of Experience)需要衡量的一个关键因素。

相关技术

图像模糊度检测算法一般分为以下几类:1. 基于图像边缘,此类方法认为模糊首先会降低图像的清晰度,使边缘纹理变得更粗,通过边缘宽度可以衡量模糊程度;2. 基于像素值的统计信息,此类方法认为清晰的图像中所有像素值的统计分布是规范的(如广义高斯分布),而图像的模糊化会影响改变该分布,因此通过对像素值统计分布参数的计算可以反映模糊程度;3. 变换域方法,此类方法认为模糊会降低图像中的纹理特征,在变换域(如DCT变换后)中纹理一般对应的是高频分量,因此通过衡量图像变换域高频信息的丰富程度可以反映模糊程度。上述三种方法都属于特征工程方法,即找到一些受模糊度影响的特征用作评价指标。随着深度学习的发展,神经网络如CNN等也被用于质量评价领域,但是受限的问题在于,图像的质量评价分数标记需要耗费大量的人力,因此目前的神经网络方法还未大量用于实际。

模糊度评价和其他图像损伤如块损伤评价(马赛克效应)不一样的地方在于,物理上同样程度的模糊,人眼对于其主观感受却不同,见下面的例子:

上面两张图像是通过相同参数的高斯滤波器模糊处理后得到的,在10分值范围内(分数越大表示越清晰),第一张图的得分是3.1分,第二张图的得分是5.9分。所以可以看出对于模糊损伤,人眼的主观感受与图像的内容是强相关的。而目前的评价算法捕捉的主要是像素信息,所以评价算法需要一个修正步骤使得结果更加贴近人眼的感受。

修正方法

传统上,一般的模糊度评价修正采用如下的Logistic函数,其中x是算法的输出值,f(x)是输出值的修正结果,参数通过在常见的IQA数据库上拟合得到。

但是这样的方法忽略了内容类型,比如选取最常用的S3模糊度评价算法,在3个常用的IQA数据库CIDIQ、TID2013、VLC上使用上述修正方法,效果如下图所示。图中横轴是算法输出值,纵轴是人眼主观评价值,理想情况下,如果二者相等,那么形成的散点应该分布在y = x 也就是图中的对角线上。故评价算法的性能用线性相关系数PCC和主客观分数均方差值RMSE衡量。图中第一行是算法修正前的分数以及在各数据库上拟合得到的修正函数,第二行是算法修正后的分数,三列分别代表三个数据库。我们可以发现:

▪ 不同的数据库(内容)所需拟合函数参数不完全相同

▪ 对中轻度模糊基本没有改善(第二行靠近右上方的数据点在修正后反而更偏离对角线了)

最新进展

上海交通大学图像所研究团队提出了一种基于图像内容检索的模糊度评价性能提升方法,在一定程度上解决了上述两个问题,该方法框图如下:

第一步,离线内容数据库构建。使用无损图像通过不同程度的高斯模糊生成不同程度的模糊版本。之后首先采用全参考图像质量评价VIF算法对各模糊版本进行打分(在大规模数据量下无法进行主观评测,使用全参考客观评分代替)。再采用无参考评价算法独立对各模糊度版本进行评分。我们使用目前规模最大的视频质量评价数据库Waterloo数据集,该数据库提供了4744张各种内容的无损图像,对于每张图片,使用高斯模糊对其进行5级损伤处理,5级损伤分别对应于PSNR值为33dB,30dB,27dB,24dB,21dB。形成如图所示的散点图,其中y轴表示全参考VIF分数,x轴表示无参考指标分数。

第二步,内容分类。对于建立的模糊图片数据库,对其中相同内容的不同模糊等级图像对应的数据点进行线性拟合,依据得到的线性回归直线的斜率进行聚类,形成5个内容簇,每个簇用不同的颜色表示。之后在每一类所有数据点中分别进行Logistic非线性拟合。保存每个内容簇中距离聚类中心最近的10张无损图片作为类代表图片,其余的原始图片及其各模糊版本按照内容分为训练集(70%)及验证集(30%),在下一步进行检索网络的训练。我们选取了基于卷积神经网络的图片检索网络KevenNet对内容图像进行检索匹配。

第三步,评分修正。通过检索网络找到与其内容最相近的聚类中心参考图像,并获得那一个簇的 logistic 回归参数。对于一张待评价图像,首先用评价算法输出评价分数,之后再用该图像所在类别的修正函数进行修正。

为方便起见,将上述CIDIQ、TID2013、VLC数据库结合在一起,并对比传统单类修正与我们提出的分类修正方法的性能差异,仍用S3方法作为评价指标。如下图所示;

可以发现:

▪ 多分类修正相对单类修正可以进一步提高模糊度指标总体准确性,PCC值升高,RMSE值下降;

▪ 多分类修正可以提高轻度到中度损伤程度的评价准确性,如图中右上方框内容所示,且所有数据点更加收敛于y = x直线上。

由对比发现,经过我们提出的基于内容分类的修正方法修正后的模糊度指标,相比分类修正前或不经过分类直接修正的模糊度指标,均有明显的评价准确率提升。

更多论文细节和实验分析详见论文:

Y. Liu, Li Song, W. Zhang, A generic method to improve no reference video blurriness assessment[C]. IEEE Conference on Visual Communications and Image Processing (VCIP), 2017:1-4.

下载链接

http://medialab.sjtu.edu.cn/publications/2017/VCIP2017_YKLiu_A%20Generic%20Method%20to%20Improve%20No-Reference%20Image%20Blur%20Metric%20Accuracy%20in%20Video%20Contents.pdf

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2017-12-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

八大深度学习最佳实践

翻译 | AI科技大本营 参与 | 刘畅 [AI 科技大本营导读]2017年,许多的人工智能算法得到了实践和应用。名博Hack Noon作者 Brian Muh...

32612
来自专栏AI科技大本营的专栏

【AI 技术精选】神经网络结构深入分析和比较

作者 | Eugenio Culurciello 翻译 | AI科技大本营(rgznai100) 深度神经网络和深度学习是既强大又受欢迎的算法。这两种算法取得的...

3196
来自专栏机器之心

从遗传算法到OpenAI新方向:进化策略工作机制全解

2845
来自专栏AI科技大本营的专栏

撕起来了!谁说数据少就不能用深度学习?这锅俺不背!

作者 | Andrew L. Beam 编译 | AI100 撕逼大战,从某种角度,标志着一个产业的火热。 最近,大火的深度学习,也开始撕起来了。 前几日,有一...

3567
来自专栏量子位

遇到有这六大缺陷的数据集该怎么办?这有一份数据处理急救包

在这篇文章中,身兼AI工程师/音乐家/围棋爱好者多职的“斜杠青年”Julien Despois给出了数据科学中需要避免的6大错误。

662
来自专栏机器学习算法与Python学习

手把手教你从零搭建深度学习项目(可下载PDF版)

1644
来自专栏AI科技评论

干货 | 如何测量 NLP 模型的性别偏见到底有多大?

AI 科技评论按:本文由 Ben Packer, Yoni Halpern, Mario Guajardo-Céspedes & Margaret Mitche...

1161
来自专栏机器之心

学界 | 抱歉我们今天想介绍的这篇论文,刚刚中了CVPR 2018最佳论文

目标识别、深度估计、边缘检测、姿态估计等都是研究界认为有用的和已解决的常见视觉任务的例子。其中一些任务之间有着明显的相关性:我们知道曲面法线和深度是相关的(其中...

1042
来自专栏数据科学与人工智能

【数据科学】数据科学书上很少提及的三点经验

这是数据科学大行其道的时代。各类课程、博客、培训学校如雨后春笋般出现。然而,每次我浏览这些学习资料时,我发现它们过于强调一些具体的算法。理解逻辑回归或者深度学习...

2056
来自专栏数据魔术师

机器学习与运筹学竟如此暧昧??

2114

扫描关注云+社区