想不想让你拍的照片秒变宫崎骏风格漫画，一起来看看CartoonGAN
想不想让你拍的照片秒变宫崎骏风格漫画，一起来看看CartoonGAN
论文：CartoonGAN: Generative Adversarial Networks for Photo Cartoonization
会议：CVPR2018
想不想让你拍出来的图片，秒变漫画风，就像下面这样~
让我们观察一下上面这张图片，仔细看一看，两张图片有什么不同，看出来了吧？右边这幅图明显不像现实中的车辆嘛，是不是很像漫画呢？有了这个CartoonGAN，漫画家会不会失业呀？
让我们来了解一下CartoonGAN是怎么将图片变成漫画的吧~
现有很多风格转换方法，如Pix2PixGAN可以完成图片风格的转换功能，但是由于漫画具有独特的特点，利用现有的风格转换方法，我们无法充分表达漫画的独特特征：
（1）漫画风格的高级简化和抽象等功能，不是简单地添加纹理和边界线，而是需要从现实世界图像的复杂构造中高度简化；
（2）漫画图像锋利的边缘，光滑的颜色不均匀，质地相对简单
由于漫画的上述特征，我们使用一般的风格转换方法不能获得满意的结果，为了更好地突出这些漫画的特征，这篇文章提出了两种损失函数，一种保证照片和漫画风格转换的Content loss，另一种是促进漫画边缘清晰的对抗Loss。
网络架构：一个生成器和一个判别器的配置
生成器输入一张现实场景图片，生成一张漫画风格图片，判别器的存在使得生成器生成的图片更加像漫画风格。
损失函数
（1）Adversarial loss Ladv(G,D)：
目标：通过使得判别器能够识别弱边缘的图片，从而通过对抗训练，促进生成图片边缘清晰。
我们简单的利用对抗Loss来训练网络，往往生成的漫画图片不够真实， 这是因为卡通图像的重要特征是有清晰的边缘，但是这些边缘在整个图像中所占的比例通常非常小。 因此，生成器不能捕获漫画图片的这种特点，因此生成的图片不够“像”漫画。
这里，作者提出了一种促进边缘的loss。首先，作者利用已有的漫画数据集Sdata(c)，弱化漫画边缘，生成弱边缘的漫画数据集Sdata(e)
如何弱化边缘，生成弱边缘的漫画数据集？
（1）利用边缘检测器，检测出漫画边缘
（2）删除图片中边缘区域
（3）利用高斯平滑处理图片，生成弱化边缘后的漫画数据集
下图便是原图片和弱化边缘后的图片。
定义对抗Loss:
训练生成器时，希望判别器将生成的图片判定为真实的漫画图片
训练判别器时，希望判别器能将真实漫画图片判定为Real,将生成器生成的图片判别为Fake,
如何促进漫画边缘？
对抗Loss除了上面那些设置外，同时，重点来了！！！判别器还将弱化边缘的漫画图片判定为Fake，这样是不是就突出了漫画的边缘呢？？？很有意思吧！
(2) Content Loss:
目标：确保图片风格转换的同时，内容不变，一辆生活中的大Bus不会变成漫画中的一辆car!
除了正确的流形之间的转换之外，卡通风格化中的一个更重要的目标是确保得到的卡通图像保留输入照片的语义内容。 在CartoonGAN中,采用了预训练的VGG网络中的高级特征定义Content，利用L1 Loss保证，图片内容不变。
结果：振奋人心的结果来啦
（1）让我们看一下生成的结果吧，让我们拍的照片变成新海诚或者宫崎骏风格的漫画~
现实图片 新海诚风格 宫崎骏风格
（2）与其他方法的比较，是不是边缘清晰很多，更真实啦
