手机照片脑补成超大画幅,这个GAN想象力惊人 | Keras实现

夏乙 伊瓢 发自 凹非寺 量子位 报道 | 公众号 QbitAI

斯坦福两名学生Mark Sabini和Gili Rusak,在CS230的期末作业里把图像补到了取景框外边。

就像这样:

原本像手机拍摄的照片一样小的一幅画,一下子变成了开阔的大图。

机器根据它天才的“脑补力”,将白天和傍晚的竖幅海景图脑补出左右两侧的样子还原出了方形海景图照片。看上去除了左右两侧有种照片被水泡了的模糊感之外,就是完整的一张照片。

Keras实现

最近,印度班加罗尔一位小哥Bendangnuksung(简称Bendang)看中了这种算法,决定把它发扬光大。于是,他根据论文中的训练方法,打造了一个超低门槛的Keras实现,还把可处理的分辨率从128×128提升到了256×256。

一经推出,在Reddit上引起轰动。

大家纷纷表示过于厉害了:

你该不会是用训练集做的测试吧? 牛逼,喜欢这种很实用的东西。 效果太好了,简直不像是真的。 除了能看出原图和生成内容的边界之外,其他简直完美。

甚至还开脑洞想出了应用场景:

4:3画幅的电影可以无暇延伸成21:9的了!还可以把旧电影放大成4k画面! 如果我把我的半个脸给它,能给我恢复过来么?

但是也有不少网友指出了一个小问题:这个模型的训练和测试过程很不规范,Bendang展示的效果图,是训练数据中就包含的。

Bendang解释说这个Keras实现,是用海滩数据集训练的,整个数据集一共就350张图,(你们就理解一下嘛)。

然后,他也给出了一张真正的测试效果:

效果勉勉强强。

有了Keras实现,这么cool的想法确实好上手很多,不过在训练和测试这件事上,大家不要学印度小哥。

训练过程

在论文中,这个模型的用到的训练集相当大,有超过3万张图片。不过每张图片只是128×128的小图。

首先,按照这个要求准备数据库,找到36500张128×128的照片,保留100张做测试集。

处理好的数据,通过这样一个DCGAN构架训练。

后面测试集的结果如下,第一排是输入的窄图,第二排是输出效果,第三排则是这张图的原图。

比较一下第二排和第三排看出,结果还不错,除了部分图片有一些明显的边缘之外,还是可以看出图像的连续性的。另外,还有五倍宽度版:

彩蛋

这篇论文获得了CS230作业中的Outstanding Posters。在CS230的作业中,还有很多十分有趣的研究,比如说,Final Project Prize Winners第一名的作业,照着卫星图画地图。

而且,量子位悄悄LinkedIn了一下几位拿到了第一名作者,貌似都是华人/华裔学霸(亮点自寻)。

传送门

Keras实现: https://github.com/bendangnuksung/Image-OutPainting

相关论文:

Painting Outside the Box: Image Outpainting with GANs Mark Sabini and Gili Rusak

海报: http://marksabini.com/files/cs230__Painting_Outside_the_Box_Image_Outpainting_with_GANs__poster.pdf

论文: http://marksabini.com/files/cs230__Painting_Outside_the_Box_Image_Outpainting_with_GANs__report.pdf

原作者的代码: https://github.com/ShinyCode/image-outpainting

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-08-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法工程师

机器学习模型,能分清川菜和湘菜吗?

一个地区的文化和当地的特色食物总是分不开关系,可以说小到村庄,大到国家,每个地方都有自己的“味道”。

14240
来自专栏量子位

谷歌新竞赛:在欧美长大的AI,也要认识亚非拉的生活丨可参加NIPS

于是,谷歌今年决定要“众筹”一只天生思维开阔、想象力丰富的AI,即使它只见过欧美人的生活,也要扩展到全球各地各种文化中去。

7830
来自专栏全栈数据化营销

品牌知觉图:精准找到空白市场定位,数据化衡量品牌效果

如何知道自己品牌留给客户的是什么印象呢?如何印证品牌推广和塑造的效果呢?如何有效寻找在品牌建设中的空白点和机会点呢? 这次就介绍在品牌建设中会经常用到的品牌知觉...

454110
来自专栏AI研习社

一起来涂鸦吧!用风格迁移把iPhoneX的照片变成艺术画

自从Gatys发表了神经风格迁移算法,我们见证了海量的图片摇身一变成了艺术品。 算法用了一个前馈网络把给定图片的风格输入网络。我们还看到了超厉害的“非艺术气质的...

27850
来自专栏LET

谈谈随机数

222110
来自专栏AI科技评论

学界 | 一窥 ACL 2018 最佳论文

AI 科技评论按:随着定于 7 月 15 日的开会日期逐渐临近,自然语言处理顶会 ACL 2018 继公开了接收论文名单之后,今天也公布了包含 3 篇长论文 与...

11450
来自专栏量子位

照片有灵异鬼影?伯克利 x 陈启峰培育高能FCN“除灵师” | CVPR论文

图像(I),可以被建模成,透射层(T)与反光层 (R) 之和,即I = T + R。

15030
来自专栏目标检测和深度学习

全球最全计算机视觉资料(7:领域专家)

34810
来自专栏一棹烟波

语音增强(降噪)之一——谱减法

博主最近转战语音增强研究,刚学习了最基础也是最成熟的方法——谱减法,最早是boll提出的《Suppression of acousic noise in spe...

68150
来自专栏机器人网

顶级AI会议NIPS压轴2017

NIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Sys...

39380

扫码关注云+社区

领取腾讯云代金券