这项工作提出一种新的“基于编辑”的方法,即属性组编辑(Attribute Group Editing,AGE),用于少样本图像生成。思路是任何图像都是属性的集合,并且特定属性的编辑方向在所有类别中共享。AGE 检查在 GAN 中学习的内部表示并识别语义上有意义的方向。
具体来说,类嵌入,即来自特定类别的潜码均值向量,用于表示类别相关的属性,而与类别无关的属性是通过Sparse Dictionary Learning在样本嵌入和类嵌入间的差异学习而来。给定一个在已知类别上训练好的 GAN,可以通过编辑类别无关属性来合成未见类别的不同图像,同时保持类别相关属性不变。在不重新训练 GAN 的情况下,AGE 不仅能够为数据有限的下游视觉应用生成更逼真和多样化的图像,而且还能够实现具有可解释类别无关方向的可控图像编辑。
针对具有窄视野的单张图像,本文通过估计其周围环境来解决从生成 360 度图像的问题。以前的方法存在过拟合训练分辨率和确定性生成的问题。本文提出一种使用transformer 进行场景建模的补全方法以及改进输出图像上 360 度图像属性的新方法。
具体来说,使用带有transformer 的 CompletionNets 来执行各种补全,并使用 AdjustmentNet 来匹配输入图像的颜色、拼接和分辨率,从而能够以任何分辨率进行推理。为了改善输出图像上 360 度图像的属性,还提出WS 感知损失和循环推理。方法在定性和定量上都优于最先进的 (SOTA) 方法。此外,提出一个思路将结果用于 3DCG 场景的照明和背景。