学界 | 斯坦福最新:用GAN补全镜头外的世界

大数据文摘出品

作者:CoolBoy、魏子敏

被誉为最有想象力生成对抗网络GAN一出现就被Yann Lecun誉为“十年来机器学习领域最有趣的想法”,在图像领域更是催生了一批有趣的研究。

今天文摘菌介绍的这个研究来自斯坦福大学,用GAN的“想象力”补全一张图片镜头外的世界。

还不太了解GAN的同学,让我们先来简单复习一下:

如果你想更加擅长某种东西,比如下棋,你会怎么做?你可能会和比你更强的对手对弈。你会分析你做错了什么、对方做对了什么,并思考下一场比赛如何才能击败他(她)。

你会重复这一步骤,直到你击败对手。这个概念可以被纳入到构建更好的模型中。所以简单来说,要获得一个强大的英雄(即生成器generator),我们需要一个更强大的对手(即鉴别器discriminator)。

这就是生成对抗网络GAN的基本原理

GAN被广泛用于了图片风格变换和补全的各种研究中,比如之前万圣节mit发布的恐怖片专题页“噩梦机器”,就是通过GAN实现的。

基于GAN的神奇效用,这一补全图片的研究成果可以将一张m x n大小的图片,补全成m x(n+2k)大小的图片。

这个模型的训练使用了36500张256 x 256 RGB的图片。只是目前这一补全还很受限制,只能基于原图片为中心扩展。当然,并且对图片风格也有一定要求,必须是写实风格的图片。

海滩图片及训练结果?

迭代回归绘画?

这一研究来自斯坦福大学两位同学CS230深度学习的课程作业,未来,两位同学希望可以将这一补全能力从图片扩展到视频上。

可以通过下边这页poster简单了解?

研究成果可以通过其在github的链接查看?

https://github.com/bendangnuksung/Image-OutPainting

斯坦福两位同学采取的方法是基于一项早稻田大学的研究。来自早稻田大学的三位老师提出了一种局部和全局一致的图像补全方法。在使用卷积神经网络,填充任意形状的缺失区域来补全图像后,使用全局和局部的情景鉴别器来区分真实图像和被补全图像。图像补全网络与鉴别器网络分别被训练后,再利用GAN损失函数统一训练。

与PatchMatch等基于补丁的方法相比,这个的方法可以生成图像中未出现的片段,能够自然地完成具有高度特定的结构(如面部)的图像。

在后台回复“补图”可以获得这篇早稻田的论文(价值15美元,文摘粉丝免费收藏哟~~~)。

【今日机器学习概念】

Have a Great Definition

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-07-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法工程师

一些fancy的GAN应用

GAN全称是Generator adversarial networks,中文是生成对抗网络,是一种生成式模型,由good fellow在14年提出,近四年来被...

18210
来自专栏IT派

机器学习中的数学基础

导语:现在出现了很多易于使用的机器学习和深度学习的软件包,例如 scikit-learn, Weka, Tensorflow 等等。机器学习理论是统计学、概率学...

38060
来自专栏AI科技大本营的专栏

如何让摄像头变成“暗夜之眼”?英特尔开发了一套基于FCN的成像系统

【AI科技大本营导读】手机拍照的重要性不必多说,不论是国外的苹果、三星,还是国内的华为、小米,都在提升拍照性能上下足了功夫,目前的手机摄像头已经逐渐从单摄走向双...

11930
来自专栏AI科技评论

EMNLP最佳长论文作者独家解读:别让机器学习放大性别偏见,其实男人也喜欢购物!

via cheatsheet 近日,自然语言处理领域顶级国际会议 EMNLP 于丹麦哥本哈根举行。EMNLP是自然语言处理三大顶级会议(ACL, EMNLP, ...

417160
来自专栏用户2442861的专栏

结合实例与代码谈数字图像处理都研究什么?

图像处理(以及机器视觉)在学校里是一个很大的研究方向,很多研究生、博士生都在导师的带领下从事着这方面的研究。另外,就工作而言,也确实有很多这方面的岗位和机会虚...

33110
来自专栏AI科技评论

视频 | 斯坦福大学提出自监督人脸模型:250Hz 单眼可重建

本文为雷锋字幕组编译的 CVPR 2018 Oral 论文解读短视频,论文题目 Self-supervised Face Model Learning for ...

10720
来自专栏贾志刚-OpenCV学堂

谷歌机器学习速成课程系列二

谷歌tensorflow官方推出了免费的机器学习视频课,总计25个课时,支持中英文语言播放、大量练习、实例代码学习,是初学tensorflow与机器学习爱好者必...

15720
来自专栏量子位

手把手带你入坑迁移学习(by 当过黑客的CTO大叔)

原作 Slav Ivanov Root 编译自 Slav寄几的博客 量子位 出品 | 公众号 QbitAI Slav Ivanov是Post Planer(提高...

35060
来自专栏量子位

国防科大登顶SQuAD 2.0排行榜,机器阅读也要“不知为不知”

于是,国防科大和微软组成的Minghao Hu团队,给算法加入了验证候选答案的步骤,在SQuAD 2.0中获得了74.2 F1的最高分。

14820
来自专栏量子位

用DensePose,教照片里的人学跳舞,系群体鬼畜 | ECCV 2018

Facebook团队,把负责感知的多人姿势识别模型DensePose,与负责生成的深度生成网络结合起来。

20530

扫码关注云+社区

领取腾讯云代金券