学界 | CVPR 2018论文解读:一种交互式纹理迁移通用框架

AI 科技评论按:本文是北京大学门怡芳基于其 CVPR spotlight 论文为 AI 科技评论提供的独家稿件,未经许可不得转载。

论文信息:A Common Framework for Interactive Texture Transfer

(http://www.icst.pku.edu.cn/F/zLian/papers/CVPR18-Men.pdf)

引言

纹理迁移技术作为计算机视觉和图形学领域的一个研究热点,能够将样图中的风格纹理自动迁移到目标图像中,本文提出了一种用户引导的纹理迁移技术,通过输入素材语义图、素材风格图及目标语义图,能够自动生成具有目标语义和素材风格的目标风格图,该问题描述如图 1 所示。

图 1:问题描述。输入素材语义图 S_sem、素材风格图 S_sty 及目标语义图 T_sem,能够自动生成具有目标语义和素材风格的目标风格图 T_sty。

该技术有着广泛的应用场景,例如将一副简单的用户涂鸦变成艺术画作、编辑装饰性纹理的生成路径和形状、生成具有已知风格纹理的特效文字、控制特效字中特效的空间分布、对图像中两个物体进行纹理交换等,该技术可以通过语义引导的方式将素材样图中的纹理图案迁移到目标图像中。

由于任务的多样性和语义引导的简单性,利用一些现有的技术很难达到我们的目标。一些方法在特定的场景上能达到很好的效果,如装饰笔刷 [1] 和文本特效迁移 [2],但这些方法只适用于单一的指定场景,不适用于我们目标中的多任务情景。基于图像类比的方法 [3,4],由于缺少对内部结构信息的分布引导,很难对内部具有复杂结构信息的纹理进行迁移并保留其细节性高频纹理。神经涂鸦 [5]利用卷积神经网络进行风格迁移,然而该方法适用范围小,仅适合于抽象的艺术画作,而不能很好地处理真实拍摄的图像或写实主义图片,使得真实图像迁移后的结果图包含大量的底层噪声,并且这种方法类似于一个黑盒操作,无法控制生成过程,使得生成结果有更多不可预测性,难以控制其细节合成,从而难以生成高质量的图片。

本文提出一种用户引导的纹理迁移通用框架以适用于多任务场景。本方法基于非参数化的纹理合成技术,从素材图取样完成目标图像的合成,采用了多个引导项动态引导合成过程。本方法通过显著性结构纹理引导的方式解决了目标风格图中结构信息丢失的问题;通过语义引导项为用户提供了控制纹理形态、位置的接口,提供用户交互性;通过纹理相干性引导项保证与素材风格的一致性。使其能够生成高质量的纹理迁移图片,满足多场景任务需求。

方法

本文通过输入包含素材语义图、素材风格图和目标语义图的一组样图,通过显著结构信息提取、结构信息传播、引导性的纹理合成等步骤,使得纹理迁移后仍能保持内部结构信息、底层细节信息,由此自动生成与目标语义图内容一致且具备素材风格的目标风格图,其总体处理流程如图 2 所示。

图 2:方法的总体流程。主要包含显著结构信息提取、结构信息传播和引导性的纹理合成三个步骤。

1. 显著结构信息提取。通过显著性检测对图像中各个像素点的显著度进行计算,将满足结构信息定义的像素点标注为显著性点,得到素材风格图中的显著性结构信息,可视化过程如图 3 所示。

图 3:显著结构信息提取过程可视化。(c)(d) 分别为 (a)(b) 进行显著性检测结果,将其差值作为显著结构信息,左右为两个样例。

2. 创建目标结构图:依据素材语义图和目标语义图的形状相似性,找到一个平面变换关系,将素材风格图中的具备显著结构信息的像素点映射到新图像中,该图像定义为目标结构图,可视化过程如图 4 所示。

图 4:首先根据 CPD 算法对素材语义图和目标语义图进行轮廓关键点匹配,之后依据匹配结果,利用薄板样条插值算法将素材风格图中的具备显著结构信息的像素点映射到新图像中,该图像定义为目标结构图。

3. 建立目标函数并进行纹理合成优化,目标函数由不同权重的语义引导项、结构引导项和纹理相干项构成。语义引导项用于施加用户对风格纹理形态、位置的控制;结构引导项用于约束目标结构图中图像块与实时合成的目标风格图中图像块的相似性;纹理相干项控制目标风格图中生成的纹理与素材风格图中纹理风格相一致,使得风格纹理具有连续性。且语义引导项的权重随着迭代次数增多逐渐下降,变化范围从常数 β 下降到 0,以权重变化方式进行动态引导。将纹理合成过程看作一个最优化问题,以多尺度方式在每个尺度上利用最大期望值算法不断迭代优化目标函数,交替执行最近邻搜索和目标风格图重建两个步骤,直至收敛,即完成图像纹理迁移,得到具备素材风格的目标风格图。

实验结果

本文主要通过不同任务场景下的生成效果展示了方法的有效性,仅需要单张样例,便能够根据用户需求生成高质量的纹理迁移图片,在满足目标形态的同时,保证了纹理的连续性和一致性。以下为不同场景下图像的生成结果:

(1)用户涂鸦变艺术画作

(2)编辑装饰性纹理的生成路径和形状

(3)特效字生成(控制特效空间分布)

(4)纹理交换

本文在不同任务场景下和其他 state-of-the-arts 方法进行了对比实验,表明了文本方法在图像生成质量及风格迁移效果上的优越性。

参考文献

[1] J. Lu, C. Barnes, C.Wan, P. Asente, R. Mech, and A. Finkelstein. Decobrush: drawing structured decorative patterns by example. ACM Transactions on Graphics (TOG), 33(4):90, 2014.

[2] S. Yang, J. Liu, Z. Lian, and Z. Guo. Awesome typography: Statistics-based text effects transfer[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 7464-7473.

[3] A. Hertzmann, C. E. Jacobs, N. Oliver, B. Curless, and D. H. Salesin. Image analogies. In Proceedings of the 28th annual conference on Computer graphics and interactive techniques, pages 327–340. ACM, 2001.

[4] P. B´enard, F. Cole, M. Kass, I. Mordatch, J. Hegarty, M. S. Senn, K. Fleischer, D. Pesare, and K. Breeden. Stylizing animation by example. ACM Transactions on Graphics (TOG), 32(4):119, 2013.

[5] A. J. Champandard. Semantic style transfer and turning two-bit doodles into fine artworks. arXiv preprint arXiv: 1603.01768, 2016.

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

独家 | 一文读懂集成学习(附学习资源)

本文是数据派研究部“集成学习月”的第一篇文章,本月将陆续发布关于集中学习的话题内容,月末将有答题互动活动来赢奖,欢迎随时留言讨论相关话题。 集成算法(Ensem...

38350
来自专栏机器之心

AAAI 2018 | 腾讯AI Lab提出降秩线性动态系统:可处理有噪声计数值短数据

28660
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习技法课程学习笔记7 -- Blending and Bagging

上节课我们主要介绍了Support Vector Regression,将kernel model引入到regression中。首先,通过将ridge regr...

23200
来自专栏AI研习社

各种机器学习的应用场景分别是什么?

关于这个问题我今天正好看到了这个文章(http://t.cn/RJrTSLV)。讲的正是各个算法的优劣分析,很中肯。 正好14年的时候有人做过一个实验[1],比...

1.3K100
来自专栏梦里茶室

CVPR2018: Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatio-tempora

CVPR2018: Unsupervised Cross-dataset Person Re-identification by Transfer Learni...

81370
来自专栏AI科技评论

开发 | AI股市预测实战:用LSTM神经网络预测沪深300未来五日收益率

LSTM Networks(长短期记忆神经网络)简介 LSTM Networks 是递归神经网络(RNNs)的一种,该算法由 Sepp Hochreiter...

34050
来自专栏计算机视觉战队

稀疏&集成的卷积神经网络学习

今天主要和大家说的是分类检测过程中,一些稀疏和集成学习的相关知识,首先和大家说下图像目标定位与检测的方法分类。 众所周知,当前是信息时代,信息的获得、加工、处理...

40050
来自专栏数据派THU

教你简单解决过拟合问题(附公式)

作者:Ahmed Gad 翻译:韩海畴 校对:丁楠雅 本文带大家认识了什么是过拟合,并且示范了用正则化的方法来避免过拟合的问题。 ? 多项式回归&过拟合 你可...

38080
来自专栏人工智能头条

深度学习在计算机视觉领域的前沿进展

31030
来自专栏机器学习AI算法工程

支持向量机SVM入门详解:那些你需要消化的知识

出自:嘉士伯的Java小屋 http://www.blogjava.net/ (一)SVM的八股简介 支持向量机(Support Vector Machine)...

53280

扫码关注云+社区

领取腾讯云代金券