Facebook利用机器学习帮用户睁开眼

读完全文大概需要3分钟

一、基本思想:

我们都曾拍过自己不太满意的照片,然后利用各种P图软件进行后期渲染或是换头,提高照片的可视性和美观度。随着技术和应用软件的进步,大部分的P图任务都是小菜一碟。然而对于拍照中存在“闭眼”的行为,目前并没有一个简单的解决方案。特别是拍团体照时,总会有人会出于各种原因闭上眼睛,不得不重新拍照。

Facebook团队使用机器学习模型帮解决这一难题,开发了一种“In-Painting”的方法帮助用户睁开眼睛。基本思想是定位眼睛位置,然后将其置为空,并根产生它认为属于该空间的内容填充到对应空间。该方法要求删除或改变的对象时,将身份信息保留下来并运用到推理中,即:Exemplar GANs(ExGANs)。 ExGAN是一种有条件的GAN,它利用示例信息生成高质量,个性化的绘画效果。 他们以区域的参考图像的形式使用示例信息进行内嵌,或者描述该对象的感知。 与以前的条件GAN不同,这些额外的信息可以插入对抗网络的多个点,从而增加其描述能力。 展示的ExGANs可以通过将自己应用于自然图片中的闭合开启眼睛内画的任务,这些效果在感知和语义上都是合理的。

正如团队发表的研究论文所解释的那样,下面是关于GAN如何工作的高层次概述:

系统的一部分学会识别人脸。它了解特定人的眼睛的形状,颜色和其他特征。系统的其他部分根据识别部分的反馈创建图像

当模型进行测试并将结果显示给其他人时,其中很多人无法区分原始照片和被操纵照片。结果有一些明显的问题。例如,如果一缕头发在眼睛上方飞舞,那么这个模型就很难理解。

深度神经网络(DNN)已被用于取代闭合眼睛的类似任务,但结果并不是很理想。 DNN能够识别闭眼的位置,但是他们未能考虑脸部的其他特征(例如形状或色调),因此所产生的图像很容易与原始照片区分开来。由此看来,ExGAN呈现的结果的确令人印象深刻。

小眼睛的福音?

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180629G0A1IN00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券