AI 研究人员提出“GANgealing”：一种 GAN 监督的算法，可以学习输入图像的变换，使它们更好地进行联合对齐

视觉对齐的对应问题是计算机视觉算法必须为许多不同应用解决的问题。

它被认为是光流、3D 匹配和医学成像中的关键元素，仅举几个例子；它还影响跟踪和增强现实。

当前对齐研究的重点是成对对齐，但对全局联合对齐的关注较少。然而这个问题也需要一个通用的参考框架，用于自动关键点注释和增强现实/编辑等任务才能正常工作。输出重点表明他们正在强调它在某些应用程序中的重要性。当从联合对齐的数据集（例如 FFHQ 和 AFHQ 数据集与 CelebA-Hq 相结合）进行训练时，生成模型更有可能产生高质量的表示。

加州大学伯克利分校、卡内基梅隆大学、Adobe Research 和麻省理工学院 CSAIL 的研究人员提出了一种名为“GANgealing”的新算法。'GANgealing' 是一种 GAN 监督算法，它学习输入图像的变换，使它们更好地进行联合对齐。研究团队引入了 GAN 监督学习框架，以端到端地联合学习判别模型及其生成的训练数据。

GAN 监督学习框架是一种同时训练空间变换器和目标图像的方法。该模型是可推广的，这意味着它也可以处理现实世界的数据。研究人员表明，他们的“GANgealing”算法可以成功地对齐复杂数据并发现八个不同数据集（LSUN 自行车、猫、汽车、狗、马和电视、In-The-Wild CelebA 和 CUB）上的密集对应关系。

据研究人员称，所提出的“GANgealing”算法明显优于过去的自监督对应算法，并且与最先进的监督对应方法的性能相当。尽管它是通过 GAN 生成的数据专门训练的，但它在不使用任何外部输入或数据增强的情况下做到了这一点。

http://mpvideo.qpic.cn/0b2evmaamaaaqaajgl5wqvqvbk6da2vqabqa.f10002.mp4?dis_k=10d1d33c02fff16ffa89ec0b927712f6&dis_t=1639388251&vid=wxv_2177068940668043265&format_id=10002&support_redirect=0&mmversion=false

论文：

https://arxiv.org/pdf/2112.05143v1.pdf

Github：

https://github.com/wpeebles/gangealing