14、Monocular 3D Object Reconstruction with GAN Inversion
从单目图像中恢复带纹理的 3D mesh 非常具有挑战性,这项工作提出了 Mesh Inversion,利用3D 纹理mesh 进行预训练 3D GAN 的先验来改进重建。
具体而言,通过在 3D GAN 中搜索与目标最相似的潜在空间来实现重建。由于预训练的 GAN 在几何和纹理方面蕴含了丰富的 3D 语义,因此在 GAN 流形内进行搜索自然地规范了重建的真实性和保真度。重要的是,这种正则化直接应用于 3D 空间,为 2D 空间中未观察到的网格部分提供关键指导。实验表明,框架在观察到的和未观察到的部分获得了具有一致几何和纹理的忠实 3D 重建。此外,它可以很好地推广到不太常见的网格,例如可变形物体的扩展关节。
代码在:https://github.com/junzhezhang/mesh-inversion
九、图像来源归属分析
15、RepMix: Representation Mixing for Robust Attribution of Synthesized Images
生成对抗网络 (GAN) 的快速发展为image attribution提出了新的挑战;检测图像是否是合成的,如果是,则确定创建它的 GAN 架构。本文为这项任务提供了一种解决方案,能够 1)匹配与其语义内容不变的图像;2) 对在线重新共享图像时常见的转换(质量、分辨率、形状等的变化)具有鲁棒性。
收集了一个具有挑战性的基准 Attribution88,以实现可靠且实用的image attribution。然后,提出了RepMix,基于表示混合和新损失的 GAN 指纹识别技术。验证了它追踪 GAN 图像的来源的能力,它不受图像语义内容的影响,并且对扰动也具有鲁棒性。方法在语义泛化和鲁棒性方面比现有的 GAN 指纹识别工作有明显改进。