Google介绍了卷积神经网络NIMA模型，可对图像做出评估

AiTechYun

编辑：xiaoshan

图像质量和美学的量化一直是图像处理和计算机视觉的一个长期存在的问题。虽然技术质量评估涉及到测量像素级的退化，如噪声、模糊、压缩失真等，但美学评估捕获了图像中与情绪和美感相关的语义层次特征。最近，用人工标记数据训练的深层卷积神经网络(CNNs)被用来处理特定类图片的图像质量的主观性质，例如景观。但是，这些方法在其范围内是有限的，因为它们通常将图像分类为低质量和高质量两个类。我们的方法预测了评级的分布。这将导致更准确的质量预测，其与地面实况的相关性更高，适用于一般图像。

在“NIMA:神经图像评估”中，我们引入了一个深度CNN，它被训练用来预测一个典型的用户在哪些图像上看起来好看(技术上)或者有吸引力(美学上)。NIMA依赖于最先进的深度目标识别网络的成功，尽管有许多变化，但它仍然能够理解一般类别的对象。网络不仅可以用来评价图像可靠性和人类感知的高度相关,也有用于各种人力密集型和主性观的任务,比如智能照片编辑,为提高用户参与度优化视觉质量,或者减少图像管道中的感知视觉错误。

背景

一般情况下，图像质量评估可以分为完全参考和无参考的方法。如果参考“理想”图像是可用的，图像质量指标，如PSNR,SSIM等已被开发。当参考图像不可用时，“盲”(或无参考)方法依赖于统计模型来预测图像质量。这两种方法的主要目的是预测与人类感知相关的质量分数。在深度CNN的图像质量评估方法中，通过对对象分类相关数据集(如ImageNet)的训练，对权值进行初始化，然后对带有注释的数据进行微调，以获得感知质量评估任务。

NIMA

典型的美学预测方法将图像分类为低/高质量。尽管训练数据中的每一个图像都与人类等级的直方图相关联，而不是单一的二进制分数。评级的直方图是衡量一个图像整体质量的指标，也是评级机构之间的协议。在我们的方法中，NIMA模型并没有将图像分类为低/高的分数或倒退到平均分数，而是为任何给定的图像产生一个等级的分布——在1到10的范围内，NIMA给一个可能的分数赋值。这更直接地与训练数据被捕获的方式相一致，而且当与其他方法相比时，它更能预测人类的偏好(我们的论文中有更多的细节)。

论文地址：https://arxiv.org/abs/1709.05424

NIMA向量分值(例如平均值)的各种函数可以用来对照片进行美学的排序。下面显示了由NIMA所列的用于美学视觉分析(AVA)数据集的大型数据库的一些测试照片。摄影比赛中，每个AVA的照片平均得到200人的评分。经过训练后，NIMA对这些照片的美学等级与人类评分员的平均得分相差不多。我们发现，NIMA在其他数据集上的表现同样出色，预测的质量分数接近于人类的评级。

使用NIMA在AVA数据集上对一些标有“景观”标签的例子进行排序。预测的NIMA(和地面实况)评分在每个图像下面显示。

NIMA分数也可以用来比较以各种方式失真的相同主题的图像质量。 以下示例中显示的图像是TID2013测试集的一部分，其中包含各种类型和级别的失真。

对使用NIMA的 TID2013数据集中的例子进行排序。预测的NIMA评分在每个图像下面显示。

感知图像增强

正如我们在最近的另一篇论文中所展示的，质量和美学分数也可以用来感知图像增强运算符。换句话说，将NIMA评分最大化作为损失函数的一部分，可以增加提高图像感知质量的可能性。下面的例子表明，NIMA可以作为一个训练损失来调整色调增强算法。我们观察到，根据NIMA评分的对比调整，可以提高基线美学等级。因此，我们的模型能够引导一个深度CNN过滤器去寻找参数的美学近优设置，例如亮度，高光和阴影。

论文地址：https://arxiv.org/abs/1712.02864

NIMA可以作为训练损失来增强图像。在这个例子中，通过训练一个带有NIMA的深度CNN作为它的损失，增强了图像的局部色调和对比度。测试图像来自 MIT-Adobe FiveK数据集。

MIT-Adobe FiveK数据集地址：https://groups.csail.mit.edu/graphics/fivek_dataset/

展望未来

我们对NIMA的研究表明，基于机器学习的质量评估模型可能具有广泛的使用功能。例如，我们可以让用户轻松地找到最好的图片;甚至可以通过用户的实时反馈给来改进图片。在后处理方面，这些模型可以用来指导增强运算符产生明显的高级结果。在直接意义上，NIMA网络(以及其他类似的网络)可以在照片和视频中充当人类品味的代理，尽管不完美。我们很高兴能分享这些成果，尽管我们知道，要想更好地理解什么是质量和美学，这是一个持续的挑战——这将包括继续对我们的模型进行再新联和测试。