P图，还是阿逗比厉害（大师加持）

岳排槐 发自 凹非寺 量子位 出品 | 公众号 QbitAI

没想到P图，已经到了这层境界。

想要变成高手，想要随心所欲的修图，以后可能不需要苦练基本功了，你只需要一个马良那样的神笔。

当然，我们说的“神笔”是一个AI。

有多神？来看看实时（不剪辑、不快进）的演示。

想去掉沙滩照片中间那个骑车的人。简单，你需要擦掉这个人（相当于加了一层掩膜mask），然后点击红色的填充（Fill）按钮。

什么？还想去掉更多人？简单。

再来一个。

这个风景照，能用来表白么？当然可以，只需要简单的几下处理。首先，把山洞的上边缘涂抹掉。

接着画上两条弧线，然后点击红色的填充（Fill）按钮。

一个心形的山洞就这么成了。

当然，还能用来“微整形”。

想要改变眉形和下巴，只需要擦掉-画线，然后一点。

搞定~

轻松又愉快~

这是怎么做到的？

这套随心所欲的P图AI名叫DeepFill（v2），它基于一个门控卷积网络，能够处理任意形式的掩膜，以及用户手绘的线条。

如开头所示，这个深度学习系统可以帮助用户快速擦除画面上不想要的部分，修改图像的布局、编辑面部，以及在图中交互式创建新对象。

上图左边是局部卷积网络，右边是门控卷积网络。

对于这个神经网络而言，输入信息分成三个：颜色通道（RGB Channel）、掩膜通道（Mask Channel）、手绘通道（Sketch Channel）。

当然除了门控卷积网络之外，DeepFill（v2）里还包括SN-PatchGAN（光谱归一化马尔可夫判别器）等关键部件。

总之一句话，这个套系统显著提高了P图的效果。没有对比，就没有伤害。下面是横向对比时间。

上图最左边是输入，照片被各种涂抹，白色的部分就是所谓的掩膜，黑色的细线就是手绘的部分。中间是各种神经网络的处理结果，其中标注Ours的图片，就是DeepFill（v2）的处理结果。

最右侧是原始照片，下同。

这是开头见过的那个例子。去掉海边沙滩上其他三个人。

还有这个，按照想要的方式，修剪远处的小树丛。

显然，DeepFill（v2）确实厉害。

大师团队

这个厉害的研究，共有六位署名作者。其中四位来自Adobe，也就是搞出Photoshop的那个公司，民间俗称“阿逗比”。（昨天的报道里，Facebook刚说阿逗比不行，看来……）

而第一作者和最后一位作者，来自UIUC。

一作，余家辉。现在是UIUC三年级的博士生。2016年，余家辉本科毕业于中国科技大学少年班学院。

余家辉的导师，也是这次最后一位作者，是著名的科学家黄煦涛（Thomas S.Huang）。黄煦涛是美国工程院院士，被誉为“计算机视觉之父”，也是中国工程院外籍院士、中国科学院外籍院士。

集合Adobe和大师团队之力，怪不得DeepFill（v2）是P图高手。

可能你一直好奇，为什么名叫DeepFill（v2）？难道……没错，这次的工作，就是基于这个六人团队的前作：DeepFill（v1）。

第一版DeepFill的补图能力没这么强，也不能根据手绘的线条，按需修图。不过，DeepFill（v1）倒是放出了Demo，大家可以试一试。

更多展示

为了体现DeepFill（v2）的实力，再放几个P图实例。

传送门

最后，如果你对DeepFill（v2）感兴趣，有一篇发在arXiv上的tech report可以看，传送门：https://arxiv.org/abs/1806.03589。

或者前往余家辉的主页：http://jiahuiyu.com/deepfill2/

DeepFill（v1）的主页上有Demo和Code，传送门在此：http://jiahuiyu.com/deepfill/