生成式之CycleGAN图像风格迁移互换

查拉图斯特拉说

发布于 2024-07-18 08:13:19

990

发布于 2024-07-18 08:13:19

文章被收录于专栏：后端架构

模型介绍

CycleGAN是一种循环对抗生成网络，用于实现在没有配对示例的情况下学习将图像从一个域转换到另一个域的方法。它的重要应用领域是域迁移，即图像风格迁移。与之前的模型不同，CycleGAN不需要训练数据成对出现，因此可以实现无监督的图像迁移。

模型结构

生成对抗网络（GAN）中的循环一致损失（Cycle Consistency Loss）。以苹果和橘子为例，通过生成器和判别器的结构，模型能够将苹果生成橘子风格，也能将橘子生成苹果风格。循环一致损失是该模型中的重要部分，能够实现两种图像风格的相互迁移，生成新的图像。

讲述了循环一致性损失的概念，即通过将图像经过生成器转换成另一种风格，然后再将转换后的结果再经过另一个生成器转换回原始风格，最终计算出循环一致损失，以确保转换的一致性。

可视化

import numpy as np
import matplotlib.pyplot as plt

mean = 0.5 * 255
std = 0.5 * 255

plt.figure(figsize=(12, 5), dpi=60)
for i, data in enumerate(dataset.create_dict_iterator()):
    if i < 5:
        show_images_a = data["image_A"].asnumpy()
        show_images_b = data["image_B"].asnumpy()

        plt.subplot(2, 5, i+1)
        show_images_a = (show_images_a[0] * std + mean).astype(np.uint8).transpose((1, 2, 0))
        plt.imshow(show_images_a)
        plt.axis("off")

        plt.subplot(2, 5, i+6)
        show_images_b = (show_images_b[0] * std + mean).astype(np.uint8).transpose((1, 2, 0))
        plt.imshow(show_images_b)
        plt.axis("off")
    else:
        break
plt.show()