图像风格迁移有两种大的类型,一种是成对的,一种是非成对了。
成对的著名模型就是pix2pix,这种的例子,如从影像地图转换为矢量地图,从素描转换为纹理图等。这些的特点就是训练数据集之间的成对的。
而非成对的,就是如从不同物体之间的转换,如从橙子转换为苹果,或者不同季节之间的切换。
(http://img.mp.itc.cn/upload/20170527/6936b81df19f4038a076d41285e5d2f2_th.jpg,两者之间的比较如这个网址的图片所示。)
在上次实现了pix2pix之后,这回也尝试着实现一下不成对的风格迁移,套路还是差不多的。著名就是cyclegan模型,这种模型也是需要从训练集中(不同类的物体之间)寻找一种特征映射,而这种映射的实现是基于GAN来实现的。
测试例子如下所示:
可以看到,在物体(宏观)之间的转换,其结果是比较好的。
而一旦涉及到果实里面的部分的比较时,这个就相对弱一些了。(效果不算好)