图像美学质量评价技术开源代码

图像美学质量评价是使得计算机能够从美学的角度给出图像的质量评价，模拟人类的审美能力，其主要任务包括：（1）判断一幅图像的美学质量是“高”还是“低”（美感分类），（2）给出一幅图像的美学质量数值评价（美感评分），（3）给出一幅图像的美学质量评价分数分布（美感分布预测），（4）给出一幅图像的美学质量语言评论（美学描述）等。

图像美学质量评价是计算美学研究中的热点问题，从2004年开始，先后经历了内容无关人工设计美学特征的图像美感分类与评分、内容敏感人工设计美学特征的图像美感分类与评分、基于深度学习的图像美感分类与评分、图像美学质量多样化评价几个发展阶段。

本文着重介绍几个基于深度学习的图像美学质量评价技术开源代码，包括：图像美感分类、图像美感评分、图像美学质量评价分数分布预测、图像美感语言评论四个方面。

1.图像美感分类

1.1.RAPID

论文：Lu X, Lin Z, JinH, et al. RAPID: Rating pictorial aesthetics using deep learning [C]// Proceedingsof the ACM International Conference on Multimedia. New York: ACM, 2014:457-466.

工作：美国宾夕法尼亚州立大学的这项工作首次将深度学习技术应用于图像美学质量评价，提出了一种双通道深度神经网络将局部和全局的图像块分开处理，如图1所示。其在AVA数据集上能够达到74.46%的美感分类准确率。

图1 RAPID网络结构图

主页：

http://infolab.stanford.edu/~wangz/project/imsearch/Aesthetics/ACMMM2014/

代码：

https://github.com/indivisibleatom/aestheticsPerception

1.2.ILGNet

论文：Jin X, Wu L, Li XD, et al. ILGNet: Inception Modules with Connected Local and Global Featuresfor Efficient Image Aesthetic Quality Classification using Domain Adaptation[J]. arXiv.org, 2018, arXiv:1610.02256v3.

工作：北京电子科技学院的这项工作提出了一种基于深度卷积神经网络的图像美感分类方法，能够给出图像美学质量的分类结果：“高”与“低”或者“好”与“不好”，如图2所示。该方法结合局部与全局特征，设计了一种新的深度卷积神经网络：ILGNet，能够自动区分出美学质量高与美学质量低的两类图像，其在公开的AVA图像数据集上取得了当前最高的美感分类准确率(82.66%)。

图2 ILGNet网络结构图

主页：http://kislab.besti.edu.cn/victory/?p=242

代码：https://github.com/BestiVictory/ILGnet

1.3.Triplet-CNN

论文：SchwarzK, Wieschollek P, Lensch H P A. Will people like your image? [C]//Proceedingsof IEEE Winter Conference on Applications of Computer Vision (WACV), 2018.

工作：德国蒂宾根大学的这项工作首先利用Flickr的数据构建了一个新的美学质量评价数据集：AROD（multi-useragreements and assemble a large dataset），包含了38万幅图像，利用Flickr上收藏数与查看数的比值作为每一幅图像的美学评分，提出了一个基于三元损失函数的神经网络Triplet-CNN，如图3所示，能够输出图像的美感分类。

图3 Triplet-CNN网络结构图

主页：

http://patwie.com/pdf/schwarz_wacv2018.pdf

代码：

https://github.com/cgtuebingen/will-people-like-your-image

2.图像美感评分

论文：Kong S,Shen X, Lin Z, et al. Photo aesthetics ranking network with attributes andcontent adaptation [C]//Proceedings of 14th European Conference on ComputerVision. Heidelberg: Springer-Verlag, 2016: 662-679

工作：美国加州大学欧文分校的这项工作首先构建了一个新的美学数据集：AADB（aesthetics and attributes database）包含了图像的美学总体评分与多美学因素/属性的评价。提出了基于回归损失、排序损失、属性损失的深度卷积神经网络，如图4所示，能够给出图像的美感数值评价，即，美感评分。

图4 CNN的回归损失、排序损失、属性损失

主页：

http://www.ics.uci.edu/~skong2/aesthetics.html

代码：

https://github.com/aimerykong/deepImageAestheticsAnalysis

3.图像美感分布预测

论文：JinX, Wu L, Li X, et al. Predicting aesthetic score distribution throughcumulative Jensen-Shannon divergence [C]//Proceedings of AAAI Conference onArtificial Intelligence (AAAI), New Orleans, Louisiana, USA. 2-7 Feb. 2018.

工作：北京电子科技学院的这项工作提出了基于深度学习的图像美学质量评价分数分布（向量）预测方法，不同于以往的单标量评价，该方法能够给出一幅图像的美学质量评价分数分布，能够更好的描述人类美感的多样性。传统的深度学习最小化预测标量或一般向量与人类标记的差异，无法直接应用于美学质量评价分数分布这种有序分布向量的预测中。提出了一种基于累积JS散度的卷积神经网络（CNNbased on the Cumulative distribution with Jensen-Shannon divergence：CJS-CNN）用于预测图像美学质量评价分数分布。并且，还提出了一种基于峰度统计量的可靠性敏感的学习算法，该算法只需要归一化的评价分数分布数据就可以进行可靠性敏感的学习，而之前基于评价人数的可靠性敏感学习算法需要归一化之前完整的评价分数分布数据。

图5 图像美感分布

主页：

http://kislab.besti.edu.cn/victory/?p=825

代码：

https://github.com/BestiVictory/CJS-CNN

4.图像美学语言评论

论文：Chang KY, Lu K H, Chen C S. Aesthetic critiques generation for photos [C]//Proceedingsof 2017 IEEE International Conference on Computer Vision (ICCV). Piscataway NJ:IEEE, 2017: 3534-3543.

工作：中国台湾信息科学研究所的这项工作首先构建了一个新的美学图像数据集：PCCD（photo critiquecaptioning dataset），包含了图像的美学语言评论，提出了一个基于CNN和LSTM的神经深度网络，如图6所示，能够输出图像的美学语言评论，

图6 CNN-LSTM网络结构图

主页：

http://www.iis.sinica.edu.tw/~kuangyu/iccv17_aesthetic_critiques.pdf

代码:

https://github.com/kunghunglu/DeepPhotoCritic-ICCV17

金鑫

---------------------------------------------------------------------------------------------------

欢迎关注北京电子科技学院

可视计算与安全组官方微信

点击原文下载中国计算机学会计算机视觉专委会简报2018年第3期（总第13期）