【学术】Google介绍了卷积神经网络NIMA模型,可对图像做出评估

图像质量和美学的量化一直是图像处理和计算机视觉的一个长期存在的问题。虽然技术质量评估涉及到测量像素级的退化,如噪声、模糊、压缩失真等,但美学评估捕获了图像中与情绪和美感相关的语义层次特征。最近,用人工标记数据训练的深层卷积神经网络(CNNs)被用来处理特定类图片的图像质量的主观性质,例如景观。但是,这些方法在其范围内是有限的,因为它们通常将图像分类为低质量和高质量两个类。我们的方法预测了评级的分布。这将导致更准确的质量预测,其与地面实况的相关性更高,适用于一般图像。

在“NIMA:神经图像评估”中,我们引入了一个深度CNN,它被训练用来预测一个典型的用户在哪些图像上看起来好看(技术上)或者有吸引力(美学上)。NIMA依赖于最先进的深度目标识别网络的成功,尽管有许多变化,但它仍然能够理解一般类别的对象。网络不仅可以用来评价图像可靠性和人类感知的高度相关,也有用于各种人力密集型和主性观的任务,比如智能照片编辑,为提高用户参与度优化视觉质量,或者减少图像管道中的感知视觉错误。

背景

一般情况下,图像质量评估可以分为完全参考和无参考的方法。如果参考“理想”图像是可用的,图像质量指标,如PSNR,SSIM等已被开发。当参考图像不可用时,“盲”(或无参考)方法依赖于统计模型来预测图像质量。这两种方法的主要目的是预测与人类感知相关的质量分数。在深度CNN的图像质量评估方法中,通过对对象分类相关数据集(如ImageNet)的训练,对权值进行初始化,然后对带有注释的数据进行微调,以获得感知质量评估任务。

NIMA

典型的美学预测方法将图像分类为低/高质量。尽管训练数据中的每一个图像都与人类等级的直方图相关联,而不是单一的二进制分数。评级的直方图是衡量一个图像整体质量的指标,也是评级机构之间的协议。在我们的方法中,NIMA模型并没有将图像分类为低/高的分数或倒退到平均分数,而是为任何给定的图像产生一个等级的分布——在1到10的范围内,NIMA给一个可能的分数赋值。这更直接地与训练数据被捕获的方式相一致,而且当与其他方法相比时,它更能预测人类的偏好(我们的论文中有更多的细节)。

  • 论文地址:https://arxiv.org/abs/1709.05424

NIMA向量分值(例如平均值)的各种函数可以用来对照片进行美学的排序。下面显示了由NIMA所列的用于美学视觉分析(AVA)数据集的大型数据库的一些测试照片。摄影比赛中,每个AVA的照片平均得到200人的评分。经过训练后,NIMA对这些照片的美学等级与人类评分员的平均得分相差不多。我们发现,NIMA在其他数据集上的表现同样出色,预测的质量分数接近于人类的评级。

使用NIMA在AVA数据集上对一些标有“景观”标签的例子进行排序。预测的NIMA(和地面实况)评分在每个图像下面显示。

NIMA分数也可以用来比较以各种方式失真的相同主题的图像质量。 以下示例中显示的图像是TID2013测试集的一部分,其中包含各种类型和级别的失真。

  • TID2013测试集地址:http://www.ponomarenko.info/tid2013.htm

对使用NIMA的 TID2013数据集中的例子进行排序。预测的NIMA评分在每个图像下面显示。

感知图像增强

正如我们在最近的另一篇论文中所展示的,质量和美学分数也可以用来感知图像增强运算符。换句话说,将NIMA评分最大化作为损失函数的一部分,可以增加提高图像感知质量的可能性。下面的例子表明,NIMA可以作为一个训练损失来调整色调增强算法。我们观察到,根据NIMA评分的对比调整,可以提高基线美学等级。因此,我们的模型能够引导一个深度CNN过滤器去寻找参数的美学近优设置,例如亮度,高光和阴影。

  • 论文地址:https://arxiv.org/abs/1712.02864

NIMA可以作为训练损失来增强图像。在这个例子中,通过训练一个带有NIMA的深度CNN作为它的损失,增强了图像的局部色调和对比度。测试图像来自 MIT-Adobe FiveK数据集。

  • MIT-Adobe FiveK数据集地址:https://groups.csail.mit.edu/graphics/fivek_dataset/

展望未来

我们对NIMA的研究表明,基于机器学习的质量评估模型可能具有广泛的使用功能。例如,我们可以让用户轻松地找到最好的图片;甚至可以通过用户的实时反馈给来改进图片。在后处理方面,这些模型可以用来指导增强运算符产生明显的高级结果。在直接意义上,NIMA网络(以及其他类似的网络)可以在照片和视频中充当人类品味的代理,尽管不完美。我们很高兴能分享这些成果,尽管我们知道,要想更好地理解什么是质量和美学,这是一个持续的挑战——这将包括继续对我们的模型进行再新联和测试。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

做AI必须要知道的十种深度学习方法

不管是AI也好,其他学科也好,学习、研究的过程中不断反思学科的历史,总结学科的发展现状,找出最重要的理念,总能让人能“吾道一以贯之”。软件工程师James Le...

3375
来自专栏机器之心

从重采样到数据合成:如何处理机器学习中的不平衡分类问题?

选自Analytics Vidhya 作者:Upasana Mukherjee 机器之心编译 参与:马亚雄、微胖、黄小天、吴攀 如果你研究过一点机器学习和数据科...

34610
来自专栏机器之心

ICASSP 2018 | 思必驰和上交大提出口语语义理解新方法:基于对抗多任务学习的半监督训练

机器之心专栏 作者:Ouyu Lan, Su Zhu, Kai Yu 为期 5 天 ICASSP 2018,已于当地时间 4 月 20 日在加拿大卡尔加里(Ca...

2696
来自专栏专知

【干货】结合单阶段和两阶段目标检测的优势:基于单次精化神经网络的目标检测方法

【导读】近日,针对目标检测中单阶段和两阶段方法分别存在准确度和速度瓶颈的问题,来自中科院自动化所、中国科学院大学和GE Global Research的学者发表...

41710
来自专栏人工智能快报

科学家提出更加灵活的机器学习方法

据2015年10月美国麻省理工学院新闻,该校科学家将在2015年12月的神经信息处理系统年会上提出一种更加灵活的机器学习方法,该方法能够加强语义相关概念之间的联...

2944
来自专栏深度学习那些事儿

深度学习为什么需要那么多的数据?

深度学习近两年来发展极为迅速,在计算能力大大提高的情况下,很多深度学习方向的思想都得以实现。但是,深度学习有一个令人头疼的缺点,那就是需要大量样本来进行训练才能...

863
来自专栏目标检测和深度学习

入门 | 献给新手的深度学习综述

论文:Recent Advances in Deep Learning: An Overview

532
来自专栏数据派THU

一文读懂FM算法优势,并用python实现!(附代码)

作者:ANKIT CHOUDHARY 翻译:张媛 术语校对:冯羽 文字校对:谭佳瑶 本文共3933字,建议阅读9分钟。 本文带大家了解因子分解机算法并解析其优势...

7578
来自专栏AI科技大本营的专栏

技术 | 变形卷积核、可分离卷积?卷积神经网络中十大拍案叫绝的操作

作者 | Professor ho CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量...

2785
来自专栏机器之心

教程 | Kaggle网站流量预测任务第一名解决方案:从模型到代码详解时序预测

3065

扫描关注云+社区