【每周CV论文】初学深度学习图像风格化要读的文章

用户1508658

发布于 2020-08-28 11:47:33

5340

发布于 2020-08-28 11:47:33

文章被收录于专栏：有三AI有三AI

欢迎来到《每周CV论文》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

图像风格化的研究由来以久，这是一个艺术和科学相结合的应用，随着深度学习技术的发展，很多相关的商业产品也已经落地，今天给大家推荐初学该领域必须要读的文章。

作者&编辑 | 言有三

1 Neural Style诞生

2015年德国图宾根大学科学家在论文《A Neural Algorithm of Artistic Style》[1]中使用深层卷积神经网络创造出了具有高质量艺术风格的作品。该网络将一幅图作为内容图，从另外一幅画中抽取艺术风格，两者一起合成新的艺术画，从而使得神经网络风格迁移领域诞生。

文章引用量：1600+

推荐指数：✦✦✦✦✦

[1] Gatys L A, Ecker A S, Bethge M. Image style transfer using convolutional neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2414-2423.

2 Real-time style transfer

文[1]是基于图像的优化方法，非常耗时，500×500左右分辨率的图在当前主流GPU上处理时间以长达十分钟以上。Justin Johnson等人[2]提出了一个典型的单模型单风格框架，通过图像转换层(Image Transform Net)来完成整个的渲染过程，在损失网络(VGG16 Loss Network)的约束下，分别学习内容和风格。该模型用于训练的风格图数据集必须属于同一种风格，而内容图则可以任意选择。

文章引用量：2000+

推荐指数：✦✦✦✦✦

[2] Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution[C]//European conference on computer vision. Springer, Cham, 2016: 694-711.

3 单模型多风格改进

单模型单风格对于每一种风格都必须重新训练模型，这大大限制了它们的实用性，因此研究人员很快便开始研究单模型多风格框架。Style bank[3]是其中的一个典型代表，它使用了一个滤波器组来代表多个风格。

文章引用量：90+

推荐指数：✦✦✦✦✧

[3] Chen D, Yuan L, Liao J, et al. Stylebank: An explicit representation for neural image style transfer[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1897-1906.

4 单模型任意风格

单模型多风格框架在增加新的风格时总需要重新训练模型，我们可以通过学习实例归一化的仿射变换系数来控制多种风格的转换，如果这种仿射参数由风格图本身的统计信息来替代，就可以生成任意风格的图像。

文章引用量：400+

推荐指数：✦✦✦✦✦

[4] Huang X, Belongie S. Arbitrary style transfer in real-time with adaptive instance normalization[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1501-1510.

5 综述

最后，给大家推荐一个综述[5]以及对应的github项目[6]。

文章引用量：90+

推荐指数：✦✦✦✦✦