图像检测系列之（15）图像分割（16）图像外插值 | ICCV2021生成对抗GAN汇总梳理

十五、图像分割

40 Unsupervised Segmentation incorporating Shape Prior via Generative Adversarial Networks

• 无监督的图像分割算法，由于光照变化和遮挡等干扰因素，对象边界效果并不理想。提出一种无监督的图像分解算法，获得鲁棒的内在表示。使用简单而说明性的合成示例和用于图像分割的基准数据集，证明所提出算法的有效性和鲁棒性。

41 InSeGAN: A Generative Approach to Segmenting Identical Instances in Depth Images

• 提出 InSeGAN，无监督的 3D 生成对抗网络 (GAN)，用于在深度图像中分割刚性物体实例。使用合成分析方法，设计了一种新的 GAN 架构来合成多实例深度图像，并对每个实例进行独立控制。
• InSeGAN 接收一组代码向量（例如，随机噪声向量），每个向量编码一个对象的 3D 姿态，该对象由学习的隐式对象模板表示。生成器有两个不同的模块。第一个模块，实例特征生成器，使用每个编码姿势将隐式模板转换为每个对象实例的特征图表示。第二个模块，深度图像渲染器，聚合第一个模块输出的所有单实例特征图并生成多实例深度图像。鉴别器将生成的多实例深度图像与真实深度图像的分布区分开来。为进行实例分割，提出一个实例姿势编码器，它学习接收生成的深度图像并为所有对象实例重现姿势代码向量。
• 为评估，引入了一个新的合成数据集“Insta-10”，它由 100,000 张深度图像组成，每个图像有 5 个来自 10 个类别的对象实例。在 Insta10 以及真实世界嘈杂深度图像上的实验表明，InSeGAN 实现了最先进的性能。

十六、图像外插值-图像延展-外推

42 SemIE: Semantically-aware Image Extrapolation

• 提出一种语义感知的新范式来执行图像外修复（image extrapolation），从而可以添加新的对象实例。此前方法局限于只能扩展图像中已存在的对象。但所提出的方法不仅关注（i）扩展已经存在的对象，还关注（ii）基于上下文在扩展区域中添加新对象。
• 对于给定的图像，首先使用语义分割方法获得对象分割图；分割图被输入网络以计算外推语义分割和相应的全景分割图。输入图像和获得的分割图进一步用于生成最终的图像。对 Cityscapes 和 ADE20K 卧室数据集进行实验，并表明在 FID 等指标的优越性。
• https://semie-iccv.github.io/