【学术】Google介绍了卷积神经网络NIMA模型,可对图像做出评估

图像质量和美学的量化一直是图像处理和计算机视觉的一个长期存在的问题。虽然技术质量评估涉及到测量像素级的退化,如噪声、模糊、压缩失真等,但美学评估捕获了图像中与情绪和美感相关的语义层次特征。最近,用人工标记数据训练的深层卷积神经网络(CNNs)被用来处理特定类图片的图像质量的主观性质,例如景观。但是,这些方法在其范围内是有限的,因为它们通常将图像分类为低质量和高质量两个类。我们的方法预测了评级的分布。这将导致更准确的质量预测,其与地面实况的相关性更高,适用于一般图像。

在“NIMA:神经图像评估”中,我们引入了一个深度CNN,它被训练用来预测一个典型的用户在哪些图像上看起来好看(技术上)或者有吸引力(美学上)。NIMA依赖于最先进的深度目标识别网络的成功,尽管有许多变化,但它仍然能够理解一般类别的对象。网络不仅可以用来评价图像可靠性和人类感知的高度相关,也有用于各种人力密集型和主性观的任务,比如智能照片编辑,为提高用户参与度优化视觉质量,或者减少图像管道中的感知视觉错误。

背景

一般情况下,图像质量评估可以分为完全参考和无参考的方法。如果参考“理想”图像是可用的,图像质量指标,如PSNR,SSIM等已被开发。当参考图像不可用时,“盲”(或无参考)方法依赖于统计模型来预测图像质量。这两种方法的主要目的是预测与人类感知相关的质量分数。在深度CNN的图像质量评估方法中,通过对对象分类相关数据集(如ImageNet)的训练,对权值进行初始化,然后对带有注释的数据进行微调,以获得感知质量评估任务。

NIMA

典型的美学预测方法将图像分类为低/高质量。尽管训练数据中的每一个图像都与人类等级的直方图相关联,而不是单一的二进制分数。评级的直方图是衡量一个图像整体质量的指标,也是评级机构之间的协议。在我们的方法中,NIMA模型并没有将图像分类为低/高的分数或倒退到平均分数,而是为任何给定的图像产生一个等级的分布——在1到10的范围内,NIMA给一个可能的分数赋值。这更直接地与训练数据被捕获的方式相一致,而且当与其他方法相比时,它更能预测人类的偏好(我们的论文中有更多的细节)。

  • 论文地址:https://arxiv.org/abs/1709.05424

NIMA向量分值(例如平均值)的各种函数可以用来对照片进行美学的排序。下面显示了由NIMA所列的用于美学视觉分析(AVA)数据集的大型数据库的一些测试照片。摄影比赛中,每个AVA的照片平均得到200人的评分。经过训练后,NIMA对这些照片的美学等级与人类评分员的平均得分相差不多。我们发现,NIMA在其他数据集上的表现同样出色,预测的质量分数接近于人类的评级。

使用NIMA在AVA数据集上对一些标有“景观”标签的例子进行排序。预测的NIMA(和地面实况)评分在每个图像下面显示。

NIMA分数也可以用来比较以各种方式失真的相同主题的图像质量。 以下示例中显示的图像是TID2013测试集的一部分,其中包含各种类型和级别的失真。

  • TID2013测试集地址:http://www.ponomarenko.info/tid2013.htm

对使用NIMA的 TID2013数据集中的例子进行排序。预测的NIMA评分在每个图像下面显示。

感知图像增强

正如我们在最近的另一篇论文中所展示的,质量和美学分数也可以用来感知图像增强运算符。换句话说,将NIMA评分最大化作为损失函数的一部分,可以增加提高图像感知质量的可能性。下面的例子表明,NIMA可以作为一个训练损失来调整色调增强算法。我们观察到,根据NIMA评分的对比调整,可以提高基线美学等级。因此,我们的模型能够引导一个深度CNN过滤器去寻找参数的美学近优设置,例如亮度,高光和阴影。

  • 论文地址:https://arxiv.org/abs/1712.02864

NIMA可以作为训练损失来增强图像。在这个例子中,通过训练一个带有NIMA的深度CNN作为它的损失,增强了图像的局部色调和对比度。测试图像来自 MIT-Adobe FiveK数据集。

  • MIT-Adobe FiveK数据集地址:https://groups.csail.mit.edu/graphics/fivek_dataset/

展望未来

我们对NIMA的研究表明,基于机器学习的质量评估模型可能具有广泛的使用功能。例如,我们可以让用户轻松地找到最好的图片;甚至可以通过用户的实时反馈给来改进图片。在后处理方面,这些模型可以用来指导增强运算符产生明显的高级结果。在直接意义上,NIMA网络(以及其他类似的网络)可以在照片和视频中充当人类品味的代理,尽管不完美。我们很高兴能分享这些成果,尽管我们知道,要想更好地理解什么是质量和美学,这是一个持续的挑战——这将包括继续对我们的模型进行再新联和测试。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能快报

科学家提出更加灵活的机器学习方法

据2015年10月美国麻省理工学院新闻,该校科学家将在2015年12月的神经信息处理系统年会上提出一种更加灵活的机器学习方法,该方法能够加强语义相关概念之间的联...

3104
来自专栏竹清助手

AI的背景知识及机器学习

约6千字,主要内容为机器学习的几大分类及其基本内涵,后续我会补充关于AI的应用场景、相关技术领域(如计算机视觉、自然语言处理等)的总结。由于目前正在学习,比较严...

2943
来自专栏云时之间

NLP系列学习:文本聚类

最近一段时间在文本聚类的工作,一路也遇到了不少坑,自己也写一篇文章记录了一下自己的过程.

1110
来自专栏机器之心

一门面向所有人的人工智能公开课:MIT 6.S191,深度学习入门

选自Medium 机器之心编译 参与:黄小天、李泽南 对初学者来说,有没有易于上手,使用流行神经网络框架进行教学的深度学习课程?近日,麻省理工学院(MIT)正式...

3069
来自专栏目标检测和深度学习

一门面向所有人的人工智能公开课:MIT 6.S191,深度学习入门

选自Medium 机器之心编译 参与:黄小天、李泽南 对初学者来说,有没有易于上手,使用流行神经网络框架进行教学的深度学习课程?近日,麻省理工学院(MIT)正式...

35413
来自专栏数据科学与人工智能

【算法】朴素贝叶斯法

朴素贝叶斯是一种简单但是非常强大的线性分类器,它在垃圾邮件分类,疾病诊断中都取得了很大的成功。

1130
来自专栏机器之心

GMIS 2017 | 清华大学朱军详解珠算:贝叶斯深度学习的GPU库(附视频)

机器之心整理 演讲者:朱军 5 月 27-28 日,机器之心在北京 898 创新空间顺利主办了第一届全球机器智能峰会(GMIS 2017)。中国科学院自动化研究...

3638
来自专栏专知

【经典重读】机器学习的那些事

【导读】现在以深度学习、强化学习、GAN等为代表的算法模型技术发展方兴未艾。在追随这些前沿技术同时,我们也需要对机器学习的基本概念的进行理解,如“学习=表示+评...

3255
来自专栏AI科技评论

学界 | 谷歌研究院发布 NIMA:能评价图像有多美,还能让图像变得更美

AI 科技评论按:本文发布于 Google Research Blog,作者为 Hossein Talebi, 机器感知领域软件工程师兼 Peyman Mila...

4119
来自专栏AI科技评论

深度 | 传说中的贝叶斯统计到底有什么来头?

贝叶斯统计在机器学习中占有一个什么样的地位,它的原理以及实现过程又是如何的?本文对相关概念以及原理进行了介绍。 引言:在很多分析学者看来,贝叶斯统计仍然是难以理...

3165

扫码关注云+社区