斯坦福最新：用GAN补全镜头外的世界

大数据文摘出品

作者：CoolBoy、魏子敏

被誉为最有想象力生成对抗网络GAN一出现就被Yann Lecun誉为“十年来机器学习领域最有趣的想法”，在图像领域更是催生了一批有趣的研究。

今天文摘菌介绍的这个研究来自斯坦福大学，用GAN的“想象力”补全一张图片镜头外的世界。

还不太了解GAN的同学，让我们先来简单复习一下：

如果你想更加擅长某种东西，比如下棋，你会怎么做？你可能会和比你更强的对手对弈。你会分析你做错了什么、对方做对了什么，并思考下一场比赛如何才能击败他（她）。

你会重复这一步骤，直到你击败对手。这个概念可以被纳入到构建更好的模型中。所以简单来说，要获得一个强大的英雄（即生成器generator），我们需要一个更强大的对手（即鉴别器discriminator）。

这就是生成对抗网络

GAN的基本原理

。

GAN被广泛用于了图片风格变换和补全的各种研究中，比如之前万圣节mit发布的恐怖片专题页“噩梦机器”，就是通过GAN实现的。

基于GAN的神奇效用，这一补全图片的研究成果可以将一张m x n大小的图片，补全成m x（n+2k）大小的图片。

这个模型的训练使用了36500张256 x 256 RGB的图片。只是目前这一补全还很受限制，只能基于原图片为中心扩展。当然，并且对图片风格也有一定要求，必须是写实风格的图片。

海滩图片及训练结果

迭代回归绘画

这一研究来自斯坦福大学两位同学CS230深度学习的课程作业，未来，两位同学希望可以将这一补全能力从图片扩展到视频上。

可以通过下边这页poster简单了解

研究成果可以通过其在github的链接查看

https://github.com/bendangnuksung/Image-OutPainting

斯坦福两位同学采取的方法是基于一项早稻田大学的研究。来自早稻田大学的三位老师提出了一种局部和全局一致的图像补全方法。在使用卷积神经网络，填充任意形状的缺失区域来补全图像后，使用全局和局部的情景鉴别器来区分真实图像和被补全图像。图像补全网络与鉴别器网络分别被训练后，再利用GAN损失函数统一训练。

与PatchMatch等基于补丁的方法相比，这个的方法可以生成图像中未出现的片段，能够自然地完成具有高度特定的结构（如面部）的图像。

开课倒计时2天

数据科学实训营第6期

优秀助教推荐|姜姜

作为一枚对数据分析的理解仅限于Excel的小白，曾经一直认为通过写代码来分析数据是件无比高大上的事。可是，在数据科学实训营居然就实现了！

手把手的教学方式，助教和同学们热烈的交流讨论，让我慢慢地觉得一行行代码如此亲切。而当把自己头脑中的构思通过代码实现，看到结果的那一刻，真是无比激动！

经过Kaggle、天池的案例的历练，对这些数据比赛也开始兴趣盎然，有没有小伙伴有兴趣一起去玩一玩的？

作为第6期的北美地区助教，寄语各位学员：前方高能，请准备好足够的时间，如果你能按时提交作业，结业时一定脱胎换骨。

【今日机器学习概念】

Have a Great Definition