UniColor：结合 transfomer 和 GAN 的多模式图像上色算法

UniColor: A Unified Framework for Multi-Modal Colorization with Transformer 提出了第一个统一框架 UniColor 以支持多种模式的着色，包括无条件和有条件的模式，例如笔画、示例、文本，甚至它们的混合。没有为每种类型的条件学习单独的模型，而是引入了一个两阶段着色框架，用于将各种条件合并到一个模型中。

第一阶段，多模态条件被转换为提示点的通用表示。特别是提出了一种新的基于 CLIP 的方法来将文本转换为提示点。

第二阶段，提出了一个由 Chroma-VQGAN 和 Hybrid-Transformer 组成的基于 Transformer 的网络，以生成以提示点为条件的多样化和高质量的着色结果。

定性和定量比较都表明，方法在每种控制模式中都优于最先进的方法，并进一步实现了以前不可行的多模式着色。

此外，设计了一个交互界面，展示了方法在实际使用中的有效性，包括自动着色、混合控制着色、局部重新着色和迭代颜色编辑。

https://luckyhzt.github.io/unicolor

https://arxiv.org/abs/2209.11223