Deep Learning-风格迁移

01

风格迁移

不知道大家使用过一款叫Prisma的图片处理App没有，Prisma通过人工智能把你手机中那些普通的照片模仿出著名艺术家画作的风格。

其背后的原理，就是通过神经网络学习某个图像的风格，然后再将这种风格应用到其他图像上。

这个就是图像风格迁移，直观来看，就是将一副图片的“风格”转移到另一幅图片，而保持它的内容不变。一般我们将内容保持不变的图称为内容图，content image，把含有我们想要的风格的图片，如梵高的星空，称为风格图，style image。

02

原理分析

其实要实现的东西很清晰，就是需要将两张图片融合在一起，这个时候就需要定义怎么才算融合在一起。首先需要的就是内容上是相近的，然后风格上是相似的。这样来我们就知道我们需要做的事情是什么了，我们需要计算融合图片和内容图片的相似度，或者说差异性，然后尽可能降低这个差异性；同时我们也需要计算融合图片和风格图片在风格上的差异性，然后也降低这个差异性就可以了。这样我们就能够量化我们的目标了。

（1）对于内容的差异性我们该如何定义呢？其实我们能够很简答的想到就是两张图片每个像素点进行比较，也就是求一下差，因为简单的计算他们之间的差会有正负，所以我们可以加一个平方，使得差全部是正的，也可以加绝对值，但是数学上绝对值会破坏函数的可微性，所以大家都用平方，这个地方不理解也没关系，记住普遍都是使用平方就行了。

（2）对于风格的差异性我们该如何定义呢？这才是一个难点。这也是这篇文章提出的创新点，引入了Gram矩阵计算风格的差异。我们知道一张图片通过卷积网络之后可以的到一个特征图，Gram矩阵就是在这个特征图上面定义出来的。每个特征图的大小一般是 M*N*C 或者是 C*M*N 这种大小，这里C表示的是厚度，放在前面和后面都可以，M*N 表示的是一个矩阵的大小，其实就是有 C 个 M*N 这样的矩阵叠在一起。

Gram矩阵是如何定义的呢？首先Gram矩阵的大小是有特征图的厚度决定的，等于 C*C，那么每一个Gram矩阵的元素，也就是 Gram(i, j) 等于多少呢？先把特征图中第 i 层和第 j 层取出来，这样就得到了两个 M*N的矩阵，然后将这两个矩阵对应元素相乘然后求和就得到了 Gram(i, j)，同理 Gram 的所有元素都可以通过这个方式得到。这样 Gram 中每个元素都可以表示两层特征图的一种组合，就可以定义为它的风格。然后风格的差异就是两幅图的 Gram 矩阵的差异，就像内容的差异的计算方法一样，计算一下这两个矩阵的差就可以量化风格的差异。Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等，同时，Gram的对角线元素，还体现了每个特征在图像中出现的量，因此，Gram有助于把握整个图像的大体风格。

（3）有了图像风格和内容的表示，我们就可以进行图像风格转移了。快速风格迁移的网络结构包含两个部分。一个是“生成网络”（原文中为Transformation Network），一个是“损失网络”（Loss Network）。生成网络接收一个图片当做输入，然后输出也是一张图片（即风格迁移后的结果）。如下图，左侧是生成网络，右侧为损失网络：

03

实验结果

风格迁移效果：

Perceptual Losses for Real-Time Style Transfer and Super-Resolution论文地址：https://arxiv.org/pdf/1603.08155v1.pdf

暗中观察

默默关注