Facebook:用AI完美补全照片闭眼

点击欢迎关注我们,中国生物智能创新联盟公号

【海龟芯智导读】如何将照片中闭着的眼睛“打开”,一直是计算机视觉和图形学中的难题。Facebook提出了一种Exemplar GANs(ExGANs)的方法,在条件GAN的基础上加入参考信息,能合成逼真且自然的眼睛,肉眼几乎无法分辨。

到目前为止,还没有一个很好的办法处理照相时眨眼的问题:当拍照的那一瞬间眼睛正好闭上了,那么……就只能重新拍一张。

不过,现在好了,Facebook的一项最新研究可以很好地解决这个问题,而且效果惊艳。

Facebook的新技术让你完美睁眼:第一列和第二列是ground truth(分别对应正常和闭眼的情况);第三列是目前商用软件中效果最好的Adobe Photoshop Elements的结果;第四列是Facebook这次新提出的技术ExGAN。

深度学习让计算机“脑补”,风格转移合成逼真细节

Facebook用“In-Painting”,也即图像补全,在一幅图像上挖一个洞,利用其他的信息将这个洞补全,并且让人眼无法辨别。

补全眼睛,还是个大问题

以往的技术只会插入一双与训练集中相似的脸相对应的眼睛。如果一个人有一些明显的特征,比如眼睛的形状比较特别,就不会在生成的部分中得到体现。

Facebook提出ExGAN,比cGAN更具表现力

Facebook的Brian Dolhansky和Cristian Canton Ferrer提出了一个Exemplar GANs (ExGANs)。

ExGAN是条件GAN(cGAN)的扩展,利用示例信息,生成高质量、个性化的图像补全。

与以前的条件GAN不同,在判别器网络里插入了额外的参考信息(参考图片或者感知代码),因此ExGAN有更强的表现力。

ExGANs的总体训练流程可以概括为:

从输入图像中标出眼睛;

以参考图像(reference image)或感知代码(perceptual code)为指导,对图像进行补全;

通过输入图像和补全图像之间的内容/重构损失,计算生成器参数的梯度;

用补全图像、另一个ground truth图像和参考图像或感知代码,计算鉴别器参数的梯度;

通过生成器反向传播鉴别器的误差。还有可选的一步,用感知损失对生成器的参数进行更新。其中,函数C(I)是身份函数。

ExGAN,让闭眼照片完美“开眼”

ExGAN从样例中,不仅了解了这个人的眼睛看的是什么,还了解了这个人的眼睛的结构、瞳孔的颜色,等等。最终补全的结果非常逼真而且自然。

下图中,左边第一列是ground truth,第二列是其他方法,第三列和第四列都是ExGANs的结果。其中,第三列是使用了参考图像的结果,第四列是使用了感知代码的结果。

当一个人的眼睛被一缕头发遮住了一部分,或者有时不能正确地着色,就会产生一些奇怪的人工痕迹。

不论如何,我们的照片将变得更加自然和漂亮,而鉴别“换脸”或者假视频的任务,也将更具挑战。

相关论文

Eye In-Painting with Exemplar Generative Adversarial Networks

https://research.fb.com/publications/eye-in-painting-with-exemplar-generative-adversarial-networks/

温馨提示:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180620G06MWW00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券