CVPR2022 Oral：GAN监督的密集视觉对齐，代码开源

CV君

发布于 2022-09-01 10:07:11

5280

发布于 2022-09-01 10:07:11

关注公众号，发现CV技术之美

1 引言

该论文发表于CVPR2022，主要是关于GAN监督学习在密集视觉对齐中的应用，并且论文代码已经开源。在该论文中作者提出了一种用于端到端联合学习的GAN生成数据的框架。受到经典方法的启发，论文中作者联合训练一个空间变换器，将随机样本从基于未对齐数据训练的GAN映射到共同的、联合学习的目标模式。

实验展示了8个数据集上的结果（如下图所示），可以直观的发现该论文的方法成功地对齐了复杂数据，并发现了图像中密集的对应关系。GANgealing的性能明显优于过去的自监督算法，在多个数据集上的性能与最先进的监督算法相当（有时甚至超过），另外作者也展示了论文中的算法在增强现实、图像编辑和图像数据集的自动预处理方面的应用。

论文链接： https://arxiv.org/abs/2112.05143

论文代码： https://www.github.com/wpeebles/gangealing （Github已有740星）

http://mpvideo.qpic.cn/0bc3iiaa4aaa4qao57dpnnrfaqwdbzbaadqa.f10002.mp4?dis_k=e9b34c00983c80531480e336a50f4bdd&dis_t=1661997965&vid=wxv_2380802778538688513&format_id=10002&support_redirect=0&mmversion=false

2 GAN监督学习

在该论文中，作者提出了一种GAN监督学习的算法。在该算法框架下，

(\boldsymbol{x},\boldsymbol{y})

对是从一个预训练的GAN中采样得来的，并用这些数据对训练一个神经网络

f_\theta:\boldsymbol{x}\rightarrow \boldsymbol{y}

，损失函数为

\mathcal{L}(f_\theta,\boldsymbol{y})=\ell(f_\theta(\boldsymbol{x}),\boldsymbol{y})

其中

\ell

为重构损失，在最原始的监督学习中，

f_\theta

是在固定的数据对

(\boldsymbol{x},\boldsymbol{y})

中进行学习，但是在该论文中，

f_\theta

和目标

\boldsymbol{y}

是联合端到端学习的，在测试时，评估神经网络

f_\theta

是用真实的输入。随着

训练成熟，作者从非对齐分布数据分布

x=G({\bf{w}})

中进行采样，其中

{\bf{w}}\sim \mathcal{W}

且

\mathcal{W}

表示的是隐空间分布。

2.1 密集可视化对齐

该论文的作者将他们的算法称之为GANgealing，算法的具体示意图如上所示。GANgealing首先在未对齐的输入数据集上训练生成模型

，其中生成器

的输入的隐向量为

{\bf{w}}\in \mathbb{R}^{512}

。当

训练时，可以从非对齐的分布中生成样本即

\boldsymbol{x}=G({\bf{w}})

，其中

{\bf{w}}\sim \mathcal{W}

且

\mathcal{W}

表示的是隐向量空间分布。考虑一个固定的隐向量

{\bf{c}}\in\mathbb{R}^{512}

，该向量对应一个固定的合成图片

G({\bf{c}})

。一个很简单的想法是去使用

G({\bf{c}})

当做目标模式

\boldsymbol{y}

，即

\boldsymbol{y}=G({\bf{c}})

，其中空间转换器

需要利用非对齐样本进行训练。作者可以通过优化关于

的参数和目标图片隐向量

{\bf{c}}

的联合损失函数：

\mathcal{L}_{\mathrm{align}}(T,{\bf{c}})=\ell(T(G({\bf{w}})),G({\bf{c}}))

其中

\ell

表示的是两张图片之间的距离。通过最小化关于目标隐向量

{\bf{c}}

的损失函数

\mathcal{L}

，GANgealing可以鼓励

{\bf{c}}

找到一个使得

工作更容易的姿势。如果当前

{\bf{c}}

的数值对应的姿态不能由大多数图片通过

被预测出来，则需要通过梯度下降法调整隐向量

{\bf{c}}

。提高生成器生成质量一个简单合理的方法是限制数据集的多样性，然而由于显著外观和姿态的变化的存在，这会导致期望每一个非对齐图片能够精确对齐目标图片是非常不合理的。因此，由下图可知，优化以上损失函数并不会有好的生成效果。可是对每一个随机采样图片

G({\bf{w}})

代替使用目标

G({\bf{c}})

，此时如果能够构造一个在样本目标中保持外观，并且姿态和物体方向大体一致的图像的时候，则生成效果质量会高很多。

给定

G({\bf{w}})

，作者通过设定

{\bf{w}}

向量的一部分生成相应的目标。令混合向量

({\bf{c}},{\bf{w}})\in \mathbb{R}^{512}

是隐向量，通过采样新的

{\bf{w}}

向量，可以产生一个无限的数据对池，其中输入是非对齐图像

\boldsymbol{x}=G({\bf{w}})

，目标

{\boldsymbol{y}}=G(\mathrm{mix}({\bf{c}},{\bf{w}}))

有外观

G({\bf{w}})

的信息，但是姿态是固定的。此时损失函数可以表示为

\mathcal{L}_{\mathrm{align}}(T,{\bf{c}})=\ell(T(G({\bf{w}})),G(\mathrm{mix}({\bf{c}},{\bf{w}})))

其中

\ell

表示的是感知损失函数。在该论文中，作者生成器

选择的是StyleGAN2，其它的生成器结构也可以在该框架中使用，StyleGAN2的优势在于它有高质量强大的风格混合生成能力，作者可以通过使用风格混合来构造每一个样本目标

G(\mathrm{mix}({\bf{c}},{\bf{w}}))

，其中

{\bf{c}}

主要用于粗略的控制物体的姿态，

{\bf{w}}

主要用于控制物体的纹理轮廓，具体的定性结果由上图像可知。为了更好地提高生成质量，作者使用空间转换器

去实现相似性变换，这其中就包含旋转，归一化，水平和垂直移动等。当使用空间转换

时，增加一个

\mathcal{L}_{\mathrm{TV}}

损失函数可以使得训练过程中更加平滑，具体的损失函数为

\mathcal{L}_{\mathrm{TV}}(T)=\mathcal{L}_{\mathrm{Huber}}(\Delta_x {\bf{g}})+\mathcal{L}_{\mathrm{Huber}}(\Delta_y{\bf{g}})

其中

\mathcal{L}_{\mathrm{Huber}}

表示Huber损失函数，

\Delta_x

和

\Delta_y

分别表示关于

和

的偏导数。另外作者还使用了损失函数

\mathcal{L}_1(T)=\|{\bf{g}}\|^2_2

作为正则化项。更新参数

{\bf{c}}

的时候，作者并不是利用反向传播直接到

{\bf{c}}

，而是利用了将

{\bf{c}}

表示为

\mathcal{W}

空间中的

个主要方向的线性组合，具体公式如下所示

{\bf{c}}=\bar{{\bf{w}}}+\sum\limits_{i=1}^N\alpha_i {\bf{d}}_i

其中

\bar{\bf{w}}

表示的是

{\bf{w}}

的实际平均向量，

{\bf{d}}_i

表示的是第

个主成分方向，

\alpha_i

表示对应的系数。代替直接优化

\mathcal{L}

中的向量

{\bf{c}}

，作者优化的参数是

\{\alpha_i\}_{i=1}^N

。最终GANgealing的损失函数如下所示

\mathcal{L}(T,{\bf{c}})=\mathbb{E}_{{\bf{w}}\sim\mathcal{W}}[\mathcal{L}_{\mathrm{align}}(T,{\bf{c}})+\lambda_{\mathrm{TV}}\mathcal{L}_{\mathrm{TV}}(T)+\lambda_I\mathcal{L}_I(T)]

其中作者在论文中会将

\lambda_{\mathrm{TV}}

的数值会设置为

1000

或者是

2500

，损失权重

\lambda_I

会设置为

。