P图,还是阿逗比厉害(大师加持)

岳排槐 发自 凹非寺 量子位 出品 | 公众号 QbitAI

没想到P图,已经到了这层境界。

想要变成高手,想要随心所欲的修图,以后可能不需要苦练基本功了,你只需要一个马良那样的神笔。

当然,我们说的“神笔”是一个AI。

有多神?来看看实时(不剪辑、不快进)的演示。

想去掉沙滩照片中间那个骑车的人。简单,你需要擦掉这个人(相当于加了一层掩膜mask),然后点击红色的填充(Fill)按钮。

什么?还想去掉更多人?简单。

再来一个。

这个风景照,能用来表白么?当然可以,只需要简单的几下处理。首先,把山洞的上边缘涂抹掉。

接着画上两条弧线,然后点击红色的填充(Fill)按钮。

一个心形的山洞就这么成了。

当然,还能用来“微整形”。

想要改变眉形和下巴,只需要擦掉-画线,然后一点。

搞定~

轻松又愉快~

这是怎么做到的?

这套随心所欲的P图AI名叫DeepFill(v2),它基于一个门控卷积网络,能够处理任意形式的掩膜,以及用户手绘的线条。

如开头所示,这个深度学习系统可以帮助用户快速擦除画面上不想要的部分,修改图像的布局、编辑面部,以及在图中交互式创建新对象。

上图左边是局部卷积网络,右边是门控卷积网络。

对于这个神经网络而言,输入信息分成三个:颜色通道(RGB Channel)、掩膜通道(Mask Channel)、手绘通道(Sketch Channel)。

当然除了门控卷积网络之外,DeepFill(v2)里还包括SN-PatchGAN(光谱归一化马尔可夫判别器)等关键部件。

总之一句话,这个套系统显著提高了P图的效果。没有对比,就没有伤害。下面是横向对比时间。

上图最左边是输入,照片被各种涂抹,白色的部分就是所谓的掩膜,黑色的细线就是手绘的部分。中间是各种神经网络的处理结果,其中标注Ours的图片,就是DeepFill(v2)的处理结果。

最右侧是原始照片,下同。

这是开头见过的那个例子。去掉海边沙滩上其他三个人。

还有这个,按照想要的方式,修剪远处的小树丛。

显然,DeepFill(v2)确实厉害。

大师团队

这个厉害的研究,共有六位署名作者。其中四位来自Adobe,也就是搞出Photoshop的那个公司,民间俗称“阿逗比”。(昨天的报道里,Facebook刚说阿逗比不行,看来……)

而第一作者和最后一位作者,来自UIUC。

一作,余家辉。现在是UIUC三年级的博士生。2016年,余家辉本科毕业于中国科技大学少年班学院。

余家辉的导师,也是这次最后一位作者,是著名的科学家黄煦涛(Thomas S.Huang)。黄煦涛是美国工程院院士,被誉为“计算机视觉之父”,也是中国工程院外籍院士、中国科学院外籍院士。

集合Adobe和大师团队之力,怪不得DeepFill(v2)是P图高手。

可能你一直好奇,为什么名叫DeepFill(v2)?难道……没错,这次的工作,就是基于这个六人团队的前作:DeepFill(v1)。

第一版DeepFill的补图能力没这么强,也不能根据手绘的线条,按需修图。不过,DeepFill(v1)倒是放出了Demo,大家可以试一试。

更多展示

为了体现DeepFill(v2)的实力,再放几个P图实例。

传送门

最后,如果你对DeepFill(v2)感兴趣,有一篇发在arXiv上的tech report可以看,传送门:https://arxiv.org/abs/1806.03589。

或者前往余家辉的主页:http://jiahuiyu.com/deepfill2/

DeepFill(v1)的主页上有Demo和Code,传送门在此:http://jiahuiyu.com/deepfill/

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-06-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

教你用Python解锁“吃鸡”的正确姿势!

本文用Python分析吃鸡比赛的真实数据,解答至关重要的9个问题,助你提高吃鸡概率。

31630
来自专栏Data Analysis & Viz

乱炖“简书交友”数据之代码(2)

继续更新出来本系列的代码:乱炖数据之2700余篇“简书交友”专题文章数据的花式玩法

14130
来自专栏大数据文摘

七个经典可视化案例,展示数据思维

42570
来自专栏编程

Python数据分析系列(1)——品味葡萄酒

作者:王大伟 Python爱好者社区唯一小编 博客:https://ask.hellobi.com/blog/wangdawei ? 前言 数据分析学习了挺久,...

441100
来自专栏专知

【干货】台大李宏毅两个小时带你纵览自然语言处理和语音内容机器理解,附全程视频PPT下载

【导读】李宏毅11月25日在Dosudo硅谷工程师读书会上两个办小时的演讲。 在这次演讲中李宏毅老师以语音机器理解为例纵览自然语言处理各种最新技术。李宏毅老师演...

1.5K50
来自专栏IT派

大吉大利,今晚如何用 Python 解锁“吃鸡”的正确姿势

大吉大利,今晚吃鸡~ 今天跟朋友玩了几把吃鸡,经历了各种死法,还被嘲笑说论女生吃鸡的100种死法,比如被拳头抡死、跳伞落到房顶边缘摔死 、把吃鸡玩成飞车被车技秀...

11320
来自专栏AzMark

3天破9亿!上万条评论解读《西虹市首富》是否值得一看

作者介绍:徐麟,目前就职于上海唯品会产品技术中心,哥大统计数据狗,从事数据挖掘&分析工作,喜欢用R&Python玩一些不一样的数据

17730
来自专栏SAP最佳业务实践

从SAP最佳业务实践看企业管理(152)-生产物流-生产线物流规划

企业的运营过程中,物流、资金流和信息流贯穿始终,三位一体,不可分割。物流是最基本的活动,相对于信息流和资金流,物流规划的科学性对企业的整体效益有着决定性的影响。...

28860
来自专栏web前端教室

推荐几个好用的前端社区

前端乱炖 http://html-js.com/ segmentfault http://segmentfault.com/ 前端网 http://www.w3...

2.9K70
来自专栏量子位

这份NLP研究进展汇总请收好,GitHub连续3天最火的都是它

15130

扫码关注云+社区

领取腾讯云代金券