学界 | 斯坦福最新：用GAN补全镜头外的世界

大数据文摘出品

作者：CoolBoy、魏子敏

被誉为最有想象力生成对抗网络GAN一出现就被Yann Lecun誉为“十年来机器学习领域最有趣的想法”，在图像领域更是催生了一批有趣的研究。

今天文摘菌介绍的这个研究来自斯坦福大学，用GAN的“想象力”补全一张图片镜头外的世界。

还不太了解GAN的同学，让我们先来简单复习一下：

如果你想更加擅长某种东西，比如下棋，你会怎么做？你可能会和比你更强的对手对弈。你会分析你做错了什么、对方做对了什么，并思考下一场比赛如何才能击败他（她）。

你会重复这一步骤，直到你击败对手。这个概念可以被纳入到构建更好的模型中。所以简单来说，要获得一个强大的英雄（即生成器generator），我们需要一个更强大的对手（即鉴别器discriminator）。

这就是生成对抗网络GAN的基本原理。

GAN被广泛用于了图片风格变换和补全的各种研究中，比如之前万圣节mit发布的恐怖片专题页“噩梦机器”，就是通过GAN实现的。

基于GAN的神奇效用，这一补全图片的研究成果可以将一张m x n大小的图片，补全成m x（n+2k）大小的图片。

这个模型的训练使用了36500张256 x 256 RGB的图片。只是目前这一补全还很受限制，只能基于原图片为中心扩展。当然，并且对图片风格也有一定要求，必须是写实风格的图片。

海滩图片及训练结果?

迭代回归绘画?

这一研究来自斯坦福大学两位同学CS230深度学习的课程作业，未来，两位同学希望可以将这一补全能力从图片扩展到视频上。

可以通过下边这页poster简单了解?

研究成果可以通过其在github的链接查看?

https://github.com/bendangnuksung/Image-OutPainting

斯坦福两位同学采取的方法是基于一项早稻田大学的研究。来自早稻田大学的三位老师提出了一种局部和全局一致的图像补全方法。在使用卷积神经网络，填充任意形状的缺失区域来补全图像后，使用全局和局部的情景鉴别器来区分真实图像和被补全图像。图像补全网络与鉴别器网络分别被训练后，再利用GAN损失函数统一训练。

与PatchMatch等基于补丁的方法相比，这个的方法可以生成图像中未出现的片段，能够自然地完成具有高度特定的结构（如面部）的图像。

在后台回复“补图”可以获得这篇早稻田的论文（价值15美元，文摘粉丝免费收藏哟~~~）。

【今日机器学习概念】

Have a Great Definition