人脸生成新SOTA？它还是GAN。

这是份 论文速递。

众所周知，GAN可分为无条件无监督式、条件监督式两大类；前者不需要标签，后者相反；

• 现有的GAN应用大多是监督条件式的，需要大量带标签数据，以生成期望数据；
• GAN用于数据生成，庞大充分的数据、以及繁杂的训练技巧下，获取良好的生成效果已渐为易事；
• 难还在于，如何精准地控制生成所需要的数据？如人脸编辑，现有方法大多基于大量人工的属性标签进行训练，如果缺乏标签，无监督式GAN的生成如何精准控制？
• 无监督生成Z->image中，Z往往是过于纠缠不清的，易“牵一发而动全身”，每个因子分别控制什么？
• StyleGAN的基于style的生成器，通过对以往的Z进行深层次解耦学习：对不同尺度的特征进行干预，（在类似解码的过程中）由于低层控制了高级的语义，高层控制了细微的语义，在不同尺度干预下完成语义解耦。也主要因此而大获成功。
• 即便如此，无监督式的解耦、真正的精准控制，仍然远未完成。
• Z的可解释性和控制，如何做到更好？对Z如何进行进一步干预和分解？

前言

• 前几天看到一些公众号在推送一篇 《人脸合成效果媲美StyleGAN，而它是个自编码器》，以为是一个什么异于GAN的新生成模型……
• 今日一看，这不还是一个用了对抗损失的GAN变体吗？
• [CVPR2020] Adversarial Latent Autoencoders
• https://github.com/podgorskiy/ALAE
• https://arxiv.org/abs/2004.04467

要点

• 自编码网络结合了生成和表征的特点；那它能不能和GAN一样，拥有强大的生成能力，或者进一步地、解耦表征能力呢？这尚未得知。
• 本文提出的Adversarial Latent Autoencoder (ALAE)是一种更具通用性的、利用GAN方法的架构，它可以进行更“解耦”的表征学习。
• ALAE不仅可以生成可以和StyleGAN媲美的1024大图，还可以对真实image进行重建、编辑等。

动机

• 自编码结构通常作假设：潜在空间应该是具有匹配对应先验的概率分布的；而现有的SOTA的GAN（比如StyleGAN）表明中间的潜在空间，它与直接输入距离得足够远，往往可以（学习）到更好的解耦属性；
• 由此，作者设计自编码结构，它可以从现有数据分布中学习得到潜在分布，以更好进行解耦；
• 结合GAN优秀的策略，即对抗的方法获取输出；
• 当然，自编码的图像重建层面的loss往往都是次优选择，故本文在潜在空间进行对抗约束，即所谓“Adversarial Latent Autoencoder”。

方法

• 把常规的生成器和判别器分拆如下，并作假设，和、和之间的潜在空间是相同。

• 网络结构

实现

实验结果-略