拍照时不小心闭眼了？交给Facebook新AI工具来拯救！

拍照时正好闭眼了怎么办？

不用重拍，用Facebook黑科技来拯救！

深度学习让计算机“脑补”，风格转移合成逼真细节

Facebook在他们发表于CVPR 2018的论文“Eye In-Painting with Exemplar Generative Adversarial Networks”中描述了这项工作。

这里提到的“In-Painting”，也即图像补全，最初是一个传统图形学的问题，在一幅图像上挖一个洞，看如何利用其他的信息将这个洞补全，并且让人眼无法辨别。

这个问题对人类来说似乎很容易，只要稍微想象一下，大家很容易就能脑补出洞里应该有什么。但是，这个任务对于计算机而言却十分困难，因为这个问题没有唯一确定的解，如何利用其他的信息，如何判断补全的结果是否足够逼真，都是要考虑的问题。

近来，深度学习的发展，得益于神经网络对图像中高层特征（high-level feature）的提取能力，研究人员可以将大数据和high-level feature组合起来，使这个十分困难的问题得到了比较好的解决。

例如，2017年，来自伯克利和Adobe等机构的研究人员提出了一种混合优化方法（joint optimization），利用编码器 - 解码器CNN的结构化预测和神经补丁的力量，成功合成了实际的高频细节。

对于给定的一张带有孔洞（256×256）的图像（512×512），算法可以合成出更清晰连贯的孔洞内容（d）。上图展示了混合优化方法与用Context Encoders（b）、PatchMatch（c）这两种方法产生的结果的比较。

类似于风格转移（style transfer），他们的方法将编码器 - 解码器预测作为全局内容约束，并且将孔洞和已知区域之间的局部神经补丁相似性作为风格（style）约束。

补全眼睛，还是个大问题

但是，上述方法还是存在种种局限，其中之一就是对眼睛的补完。

这并不是说眼睛——“人类心灵的窗口”很难模拟。实际上，目前的深度网络已经能在语义上产生逼真的、令人信服的结果。

但是，大多数方法并不能保留照片中人物的“身份”（identity）。DNN可以学习“打开”一双闭合的眼睛，但是模型本身并不能保证新的眼睛对应于这个人的特定眼睛结构。

DNN只会插入一双与训练集中相似的脸相对应的眼睛。这时候，如果一个人有一些明显的特征，比如眼睛的形状比较特别，就不会在生成的部分中得到体现。

在测试中，人们错误地将虚假的睁眼照片误认为是真实的照片，或者说他们不能确定哪些是真实的，认为这样的被测试者超过了50%。除非观看者知道一张照片被篡改，否则，如果只是在新闻采访中滚动浏览照片，可能也不会特别注意。不过，如果仔细看起来还是有点奇怪。

据Facebook相关研究人员介绍，在某些情况下，此功能仍然会失效，如果一个人的眼睛被头发部分覆盖，或者有时不能正确地重新创建颜色，就会产生奇怪的伪影。目前，研究人员正在解决这个问题。

你可以想象一下，Facebook上的一个自动开眼界工具的用处，它可以检查一个人的其他照片，并用它们作为参考来代替最新的照片。这有点令人毛骨悚然，但这对Facebook来说非常标准，至少它可以挽救一两张合影照片