专栏首页专知【SIGGRAPH Asia 2017 论文选读】基于图片风格特征的画家代表作选取

【SIGGRAPH Asia 2017 论文选读】基于图片风格特征的画家代表作选取

【导读】第十届ACM SIGGRAPH Asia亚洲电脑图形及互动技术展览会将于今年11月27日至30日,在泰国的首都-曼谷隆重举行。本篇选取文章来自我们课题组-中科院自动化研究所模式识别国家重点实验室博士研究生邓盈盈同学发表的SIGGRAPH Asia 2017 文章《基于图片风格特征的画家代表作选取》,我们先睹为快!

图1 选取代表作品和对应风格化结果

1.引言

图片风格化即将一张图片的艺术风格迁移到另一张图片上。一个理想的风格化算法需要能够提取并表示原始图片的内容信息,并且使内容带上样例图片的风格特征。之前的风格化工作专注也表示一位画家的画作风格[Gatys et al. 2016; Liao et al. 2017]. 但是,一个画家的画作风格不是一成不变的。我们通常需要寻找大量的图片去表示一位画家的画作特征,然后得到一系列可以表示该画家风格的代表作,进行风格化处理。因此,我们提出了一个挑选画家代表作的方法。首先,通过kmeans方法聚类得到初始分类结果,聚类中心即为初始代表作。然后,我们采用拒识方法挑选出每一类中不具有类别特征的图片,拒绝对其分类。最后得到新的代表作。

2.方法

2.1 内容风格特征提取

对于一名画家而言,不同的画作所表达的场景,物体等内容不同,其风格也会随着画家笔触,用色等方面不同而各有差异。为了将一系列图片根据其内容和风格的差异分成不同类别,并找出每类的代表作,我们需要找到一个特征向量去描述图片的内容以及风格特征,以此作为下一步聚类的依据。

我们使用训练好的一个卷积网络vgg19进行图片特征提取。已知图片在卷积层j层的feature map为

,大小为

。图片的内容特征可以用卷积层j层的feature map表示,将featuremap 拉伸,得到包含

个元素的一维的向量

,我们用这个向量作为图片的内容特征向量。另外,定义Gram矩阵

大小为

。可以通过下述公式1计算。

(1)

Gram矩阵实际上是feature map之间的内积,在feature中,每一个数字都来自于一个特定滤波器在特定位置的卷积,因此每个数字就代表一个特征的强度,而Gram矩阵计算的实际上是两两特征之间的相关性,特征是同时出现的,相互加强或者相互减弱等等,同时,Gram的对角线元素,还体现了每个特征在图像中出现的数量,因此,Gram有助于把握整个图像的大体风格。有了表示风格的Gram 矩阵,要度量两个图像风格的差异,只需比较他们Gram 矩阵的差异即可。因此,我们将Gram 矩阵拉伸,得到包含

个元素的一维向量

作为风格特征向量。最后,我们得到

作为聚类的特征向量。

2.2 模型建立

我们提出了一个聚类+拒识的框架对一位画家的画作进行聚类,然后找出每一类别的代表作。首先,基于特征向量

得到kmeans聚类结果。但是,存在一些图片与多个类别特征相近,这会影响代表作品的准确性。因此,我们引入“拒识”的概念。我们利用贝叶斯概率分布找出拒识作品。假设每类画作的特征为

F中每个特征之间相互独立且服从高斯分布,那么,对于每一类别可以得到类条件概率分布

(2)

其中,均值

和方差

是未知参数。

可以用最大似然估计的方法得到其估计值。这样,我们就得到了每一类的条件概率分布,已知先验概率,通过公式3得到后验概率

(3)

图2:拒识机理

如图2所示,拒识画作由以下规则确定:

1) 图片

属于

的后验概率

低于阈值Tr1;

2) 图片

属于

与类

的后验概率之差小于Tr2。

在试验中,Tr1和Tr2分别是峰值

的50%和20%。

3.结果和结论

图3 拒识样例。带红框的作品是每类的代表作

图1展示了FrancisPicabia 画作的聚类结果和代表作。另外利用umoulin等人的方法进行了风格化处理,可以看出我们的方法可以精确选出画家的代表作品。图3展示了拒识的样例。通过引入拒识,可以使代表作更具精确。

4.参考文献

  • VincentDumoulin, Jonathon Shlens, and Manjunath Kudlur. 2017. A Learned RepresentationFor Artistic Style. In International Con- ference on Learning Representations(ICLR). https://arxiv.org/ abs/1610.07629
  • L.A. Gatys, A. S. Ecker, and M. Bethge. 2016. Image Style Transfer UsingConvolutional Neural Networks. In IEEE Conference on Computer Vision andPattern Recognition (CVPR). 2414–2423.
  • JingLiao, Yuan Yao, Lu Yuan, Gang Hua, and Sing Bing Kang. 2017. Visual AttributeTransfer Through Deep Image Analogy. ACM Transactions on Graphics 36, 4 (July2017), 120:1–120:15.

本文分享自微信公众号 - 专知(Quan_Zhuanzhi)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【干货】快速上手图像识别:用TensorFlow API实现图像分类实例

    【导读】1月17日,Arduino社区的编辑SAGAR SHARMA发布一篇基于TensorFlow API的图像识别实例教程。作者通过TensorFlow A...

    WZEARW
  • 2018斯坦福CS 20深度学习Tensorflow实战课程(附PPT下载)

    【导读】斯坦福大学在2017年开设了一门深度学习Tensorflow实战课程(Tensorflow for Deep Learning Research),广受...

    WZEARW
  • 【干货】一文教你构建图书推荐系统(附代码)

    WZEARW
  • 彻底深刻理解js原型链之prototype,proto以及constructor(二)

    如果你能够啃下教程一并且吃透原型链的几个概念的话说明你在前端飞仙的路上又进了一小步···学习最怕的不是慢而是站!这篇教程主要目的对原型链概念进一步加深理解

    宜信技术学院
  • 彻底深刻理解js原型链之prototype,__proto__以及constructor(二)

    如果你能够啃下教程一并且吃透原型链的几个概念的话说明你在前端飞仙的路上又进了一小步···学习最怕的不是慢而是站!这篇教程主要目的对原型链概念进一步加深理解

    宜信技术学院
  • 在线视频网站搭建开发流程

    其实不一定要购买腾讯云服务器,腾讯,阿里的服务器都可,只不过我用的是腾讯云的,相对便宜一些。

    不想赖床
  • 适合破解新手的160个crackme练手之01

    适合破解新手的 160个crackme练手之01 无意中在网上找到了适合新手的160个crackme,所以想着来练手,感觉用来学习逆向很不错 首先打开exe,看...

    安恒网络空间安全讲武堂
  • [前端][原型链]一道题串联原型链易混淆点的整理

    看到别人问这个问题,自己输入了一下发现输出的是a,感觉和想象中的不一样于是分析了一下,顺便回顾一下关于原型链的知识点。

    Tuzei
  • 南开大学开源新图像分割算法,刷新精度记录 | 资源

    最近,南开大学提出一种边缘检测和图像分割算法,被称为首个在图像分割数据集BSDS500上F值(F-Feature)超越数据集本身人工标注平均值的实时算法。

    量子位
  • K-Means算法、层次聚类、密度聚类及谱聚类方法详述

    (1)什么是聚类? 聚类就是对大量未知标注的数据集,按照数据内部存在的数据特征将数据集划分为多个不同的类别,使类别内的数据比较相似,类别之间的数据相似度比较小...

    魏晓蕾

扫码关注云+社区

领取腾讯云代金券