【SIGGRAPH Asia 2017 论文选读】基于图片风格特征的画家代表作选取

【导读】第十届ACM SIGGRAPH Asia亚洲电脑图形及互动技术展览会将于今年11月27日至30日，在泰国的首都－曼谷隆重举行。本篇选取文章来自我们课题组-中科院自动化研究所模式识别国家重点实验室博士研究生邓盈盈同学发表的SIGGRAPH Asia 2017 文章《基于图片风格特征的画家代表作选取》，我们先睹为快！

图1 选取代表作品和对应风格化结果

1.引言

图片风格化即将一张图片的艺术风格迁移到另一张图片上。一个理想的风格化算法需要能够提取并表示原始图片的内容信息，并且使内容带上样例图片的风格特征。之前的风格化工作专注也表示一位画家的画作风格[Gatys et al. 2016; Liao et al. 2017]. 但是，一个画家的画作风格不是一成不变的。我们通常需要寻找大量的图片去表示一位画家的画作特征，然后得到一系列可以表示该画家风格的代表作，进行风格化处理。因此，我们提出了一个挑选画家代表作的方法。首先，通过kmeans方法聚类得到初始分类结果，聚类中心即为初始代表作。然后，我们采用拒识方法挑选出每一类中不具有类别特征的图片，拒绝对其分类。最后得到新的代表作。

2.方法

2.1 内容风格特征提取

对于一名画家而言，不同的画作所表达的场景，物体等内容不同，其风格也会随着画家笔触，用色等方面不同而各有差异。为了将一系列图片根据其内容和风格的差异分成不同类别，并找出每类的代表作，我们需要找到一个特征向量去描述图片的内容以及风格特征，以此作为下一步聚类的依据。

我们使用训练好的一个卷积网络vgg19进行图片特征提取。已知图片在卷积层j层的feature map为

，大小为

。图片的内容特征可以用卷积层j层的feature map表示，将featuremap 拉伸，得到包含

个元素的一维的向量

，我们用这个向量作为图片的内容特征向量。另外，定义Gram矩阵

大小为

。可以通过下述公式1计算。

（1）

Gram矩阵实际上是feature map之间的内积，在feature中，每一个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字就代表一个特征的强度，而Gram矩阵计算的实际上是两两特征之间的相关性，特征是同时出现的，相互加强或者相互减弱等等，同时，Gram的对角线元素，还体现了每个特征在图像中出现的数量，因此，Gram有助于把握整个图像的大体风格。有了表示风格的Gram 矩阵，要度量两个图像风格的差异，只需比较他们Gram 矩阵的差异即可。因此，我们将Gram 矩阵拉伸，得到包含

个元素的一维向量

作为风格特征向量。最后，我们得到

作为聚类的特征向量。

2.2 模型建立

我们提出了一个聚类＋拒识的框架对一位画家的画作进行聚类，然后找出每一类别的代表作。首先，基于特征向量

得到kmeans聚类结果。但是，存在一些图片与多个类别特征相近，这会影响代表作品的准确性。因此，我们引入“拒识”的概念。我们利用贝叶斯概率分布找出拒识作品。假设每类画作的特征为

F中每个特征之间相互独立且服从高斯分布，那么，对于每一类别可以得到类条件概率分布

（2）

其中，均值

和方差

是未知参数。

，

可以用最大似然估计的方法得到其估计值。这样，我们就得到了每一类的条件概率分布，已知先验概率，通过公式3得到后验概率

。

（3）

图2:拒识机理

如图2所示，拒识画作由以下规则确定：

1） 图片

属于

的后验概率

低于阈值Tr1；

2） 图片

属于

与类

的后验概率之差小于Tr2。

在试验中，Tr1和Tr2分别是峰值

的50%和20%。

3.结果和结论

图3 拒识样例。带红框的作品是每类的代表作

图1展示了FrancisPicabia 画作的聚类结果和代表作。另外利用umoulin等人的方法进行了风格化处理，可以看出我们的方法可以精确选出画家的代表作品。图3展示了拒识的样例。通过引入拒识，可以使代表作更具精确。

4.参考文献

• VincentDumoulin, Jonathon Shlens, and Manjunath Kudlur. 2017. A Learned RepresentationFor Artistic Style. In International Con- ference on Learning Representations(ICLR). https://arxiv.org/ abs/1610.07629
• L.A. Gatys, A. S. Ecker, and M. Bethge. 2016. Image Style Transfer UsingConvolutional Neural Networks. In IEEE Conference on Computer Vision andPattern Recognition (CVPR). 2414–2423.
• JingLiao, Yuan Yao, Lu Yuan, Gang Hua, and Sing Bing Kang. 2017. Visual AttributeTransfer Through Deep Image Analogy. ACM Transactions on Graphics 36, 4 (July2017), 120:1–120:15.