U-GAT-IT - 官方TensorFlow实施

作者 | Junho Kim

来源 | Medium

编辑 | 代码医生团队

论文

https://arxiv.org/pdf/1907.10830.pdf

官方的Tensorflow代码

https://github.com/taki0112/UGATIT

官方的Pytorch代码

https://github.com/znxlwm/UGATIT-pytorch

抽象 提出了一种新的无监督图像到图像转换方法，它以端到端的方式结合了新的注意模块和新的可学习的归一化功能。注意模块引导模型基于辅助分类器获得的关注图来关注区分源域和目标域的更重要区域。与先前基于注意力的方法不同，这些方法无法处理域之间的几何变化，模型可以转换需要整体变化的图像和需要大变形的图像。此外，新的AdaLIN（自适应图层实例标准化）功能可帮助注意力引导模型根据数据集通过学习参数灵活地控制形状和纹理的变化量。

用法

├── dataset

└── YOUR_DATASET_NAME

├── trainA

├── xxx.jpg (name, format doesn't matter)

├── yyy.png

└── ...

├── trainB

├── zzz.jpg

├── www.png

└── ...

├── testA

├── aaa.jpg

├── bbb.png

└── ...

└── testB

├── ccc.jpg

├── ddd.png

└── ...

训练

python main.py --dataset selfie2anime

如果gpu的内存不足，请设置--light为True

测试

python main.py --dataset selfie2anime --phase test

Architecture

结果

消融研究

用户研究

对照

引文

如果发现此代码对研究有用，请引用论文：

@misc{kim2019ugatit,    title={U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation},    author={Junho Kim and Minjae Kim and Hyeonwoo Kang and Kwanghee Lee},    year={2019},    eprint={1907.10830},    archivePrefix={arXiv},    primaryClass={cs.CV}}