【SIGGRAPH Asia 2017 论文选读】基于图片风格特征的画家代表作选取

【导读】第十届ACM SIGGRAPH Asia亚洲电脑图形及互动技术展览会将于今年11月27日至30日,在泰国的首都-曼谷隆重举行。本篇选取文章来自我们课题组-中科院自动化研究所模式识别国家重点实验室博士研究生邓盈盈同学发表的SIGGRAPH Asia 2017 文章《基于图片风格特征的画家代表作选取》,我们先睹为快!

图1 选取代表作品和对应风格化结果

1.引言

图片风格化即将一张图片的艺术风格迁移到另一张图片上。一个理想的风格化算法需要能够提取并表示原始图片的内容信息,并且使内容带上样例图片的风格特征。之前的风格化工作专注也表示一位画家的画作风格[Gatys et al. 2016; Liao et al. 2017]. 但是,一个画家的画作风格不是一成不变的。我们通常需要寻找大量的图片去表示一位画家的画作特征,然后得到一系列可以表示该画家风格的代表作,进行风格化处理。因此,我们提出了一个挑选画家代表作的方法。首先,通过kmeans方法聚类得到初始分类结果,聚类中心即为初始代表作。然后,我们采用拒识方法挑选出每一类中不具有类别特征的图片,拒绝对其分类。最后得到新的代表作。

2.方法

2.1 内容风格特征提取

对于一名画家而言,不同的画作所表达的场景,物体等内容不同,其风格也会随着画家笔触,用色等方面不同而各有差异。为了将一系列图片根据其内容和风格的差异分成不同类别,并找出每类的代表作,我们需要找到一个特征向量去描述图片的内容以及风格特征,以此作为下一步聚类的依据。

我们使用训练好的一个卷积网络vgg19进行图片特征提取。已知图片在卷积层j层的feature map为

,大小为

。图片的内容特征可以用卷积层j层的feature map表示,将featuremap 拉伸,得到包含

个元素的一维的向量

,我们用这个向量作为图片的内容特征向量。另外,定义Gram矩阵

大小为

。可以通过下述公式1计算。

(1)

Gram矩阵实际上是feature map之间的内积,在feature中,每一个数字都来自于一个特定滤波器在特定位置的卷积,因此每个数字就代表一个特征的强度,而Gram矩阵计算的实际上是两两特征之间的相关性,特征是同时出现的,相互加强或者相互减弱等等,同时,Gram的对角线元素,还体现了每个特征在图像中出现的数量,因此,Gram有助于把握整个图像的大体风格。有了表示风格的Gram 矩阵,要度量两个图像风格的差异,只需比较他们Gram 矩阵的差异即可。因此,我们将Gram 矩阵拉伸,得到包含

个元素的一维向量

作为风格特征向量。最后,我们得到

作为聚类的特征向量。

2.2 模型建立

我们提出了一个聚类+拒识的框架对一位画家的画作进行聚类,然后找出每一类别的代表作。首先,基于特征向量

得到kmeans聚类结果。但是,存在一些图片与多个类别特征相近,这会影响代表作品的准确性。因此,我们引入“拒识”的概念。我们利用贝叶斯概率分布找出拒识作品。假设每类画作的特征为

F中每个特征之间相互独立且服从高斯分布,那么,对于每一类别可以得到类条件概率分布

(2)

其中,均值

和方差

是未知参数。

可以用最大似然估计的方法得到其估计值。这样,我们就得到了每一类的条件概率分布,已知先验概率,通过公式3得到后验概率

(3)

图2:拒识机理

如图2所示,拒识画作由以下规则确定:

1) 图片

属于

的后验概率

低于阈值Tr1;

2) 图片

属于

与类

的后验概率之差小于Tr2。

在试验中,Tr1和Tr2分别是峰值

的50%和20%。

3.结果和结论

图3 拒识样例。带红框的作品是每类的代表作

图1展示了FrancisPicabia 画作的聚类结果和代表作。另外利用umoulin等人的方法进行了风格化处理,可以看出我们的方法可以精确选出画家的代表作品。图3展示了拒识的样例。通过引入拒识,可以使代表作更具精确。

4.参考文献

  • VincentDumoulin, Jonathon Shlens, and Manjunath Kudlur. 2017. A Learned RepresentationFor Artistic Style. In International Con- ference on Learning Representations(ICLR). https://arxiv.org/ abs/1610.07629
  • L.A. Gatys, A. S. Ecker, and M. Bethge. 2016. Image Style Transfer UsingConvolutional Neural Networks. In IEEE Conference on Computer Vision andPattern Recognition (CVPR). 2414–2423.
  • JingLiao, Yuan Yao, Lu Yuan, Gang Hua, and Sing Bing Kang. 2017. Visual AttributeTransfer Through Deep Image Analogy. ACM Transactions on Graphics 36, 4 (July2017), 120:1–120:15.

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2017-10-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量化投资与机器学习

【深度】监督&强化学习算法在A股中的应用

74740
来自专栏数据科学与人工智能

【陆勤践行】机器学习中距离和相似性度量方法

在机器学习和数据挖掘中,我们经常需要知道个体间差异的大小,进而评价个体的相似性和类别。最常见的是数据分析中的相关分析,数据挖掘中的分类和聚类算法,如 K 最近邻...

31880
来自专栏一名叫大蕉的程序员

机器学习虾扯淡之线性回归No.39

今天晚上,整理了一下线性回归的完整的数学推导过程以及应用。 0x00甩定义 首先什么是线性回归? 就是面包屑嘛,我们跟着一个一个面包屑走,然后duang~~在...

19470
来自专栏机器之心

入门 | 从结构到性能,一文概述XGBoost、Light GBM和CatBoost的同与不同

选自Medium 机器之心编译 参与:刘天赐、黄小天 尽管近年来神经网络复兴并大为流行,但是 boosting 算法在训练样本量有限、所需训练时间较短、缺乏调参...

51850
来自专栏人工智能

评分卡系列(二):特征工程

文章很长,理论和实现都讲的很细,大家可以先收藏,有时间再看。 在上一篇文章中,我们对LendingClub的数据有了一个大致的了解,这次我将带大家把10万多条、...

86170
来自专栏数据科学与人工智能

【数据挖掘】聚类算法总结

一、层次聚类 1、层次聚类的原理及分类 1)层次法(Hierarchicalmethods)先计算样本之间的距离。每次将距离最近的点合并到同一个类。然后,再计算...

67190
来自专栏企鹅号快讯

掌握机器学习数学基础之线代(二)

标量、向量、矩阵和张量 矩阵向量的运算 单位矩阵和逆矩阵 行列式 方差,标准差,协方差矩阵-------(第一部分) 范数 特殊类型的矩阵和向量 特征分解以及其...

20180
来自专栏Duncan's Blog

ProbabilityTheory

6.相关系数 $\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

7820
来自专栏Brian

数据挖掘

---- 概述 最近一直在学习数据挖掘和机器学习,无论是是服务端开发人员还是web开发人员,个人觉得最起码都要都一些最基本的数据挖掘和机器学习知识。废话少说,我...

31350
来自专栏大数据挖掘DT机器学习

【机器学习】迭代决策树GBRT

一、决策树模型组合 单决策树C4.5由于功能太简单,并且非常容易出现过拟合的现象,于是引申出了许多变种决策树,就是将单决策树进行模型组合,形成多决策...

35060

扫码关注云+社区

领取腾讯云代金券