用GAN还原语义标注图!还能手动改细节

来源:量子位

本文长度为2100字,建议阅读5分钟

本文为你带来高清版的pix2pix。

输入一张语义地图——

就能为你还原整个世界:

输入一张亲妈都认不出来的语义标注图——

为你合成一张真实的人脸。

聪明的你可能已经发现,这个名为pix2pixHD的神奇算法,可以用条件生成式对抗网络(conditional GAN),将一张语义标注的图像还原成现实世界的样子。pix2pixHD合成的图像分辨率可高达2048x1024,和CRN、pix2pix等其他图像合成工具相比可以发现,pix2pixHD的效果显然领先了好几条街!

pix2pixHD与pix2pix、CRN对比图

有趣的是,连李飞飞高徒、现特斯拉人工智能与自动驾驶视觉部门主管Andrej Karpathy也在Twitter上大呼“非常鹅妹子嘤!”

到底是怎么一回事?上车,我们前去看看论文。

效果惊人

有一个官方演示视频——

pix2pixHD具有通过语义标注的图像还原到现实世界的能力,并且还能根据需要轻松修改和搭配图像。在视频中可以看到,你可以一键更换车辆的颜色和型号,改变街道的类型,甚至还可以移除图像内景物甚至增加图像中的树木。

一张语义地图背后,是丰富的现实世界。

输入的语义地图

输出的不同合成场景

pix2pixHD不仅可以将街景语义图转化为真实图像,还能合成人脸。

和街景类似,根据语义标注的人脸图像,我们可以选择组合人物的眼睛、眉毛和胡须等五官特征,还能在标注图上调整五官的大小。

无论是在街景中增加和减少物体,还是改变人脸的五官,都是通过一个可编辑的界面完成的。这个界面神似众多穿衣搭配的Falsh小游戏的界面,实现了“一键换车”和“一键换眼”,长胡子、改肤色,也都是点一下鼠标的事。

只能搞定256×256的pix2pix,怎么就变成这个“鹅妹子嘤”pix2pixHD呢?我们来看看技术细节。

网络架构

要生成高分辨率图片,直接用pix2pix的架构是肯定不行的。作者们在论文中说,他们试过了,训练不稳定,生成图片的质量也不如人意。

还是得在它的基础上,进行改造。

于是,他们在pix2pix的基础上,增加了一个“从糙到精生成器(coarse-to-

fine generator)”、一个多尺度鉴别器架构和一个健壮的对抗学习目标函数。

从糙到精生成器

生成器包含G1和G2两个子网络,G1是全局生成网络,G2是局部增强网络。两个子网络结合起来使用,结构如下图所示:

其中G1计算的分辨率是1024×512,而G2将输出图像的分辨率扩大到4倍,也就是横向纵向分别乘以2,2048×1024。如果想生成分辨率更高的图片,可以再加一个同样的局部增强网络,输出4096×2048的图。

在训练这个生成器时,先训练全局生成器,然后训练局部增强器,然后整体微调所有网络的参数。

多尺度鉴别器

高分辨率图片不仅生成起来难,让计算机鉴别真假也难。

要鉴别高分辨率图像是真实的还是合成的,就需要一个感受野很大的鉴别器,也就是说,要么用很深的网络,要么用很大的卷积核。这两种方法都会增加网络容量,导致容易过拟合,训练时也都会占用更多内存。

跟生成器抢内存?不行不行。于是这篇论文的作者们提出了一种新思路:多尺度鉴别器,也就是用3个鉴别器,来鉴别不同分辨率图片的真假。

如上图所示,这三个鉴别器D1、D2和D3有着相同的网络结构,但是在不同尺寸的图像上进行训练。通过对高分辨率图像进行两次降低采样,生成3种大小的图像,然后训练鉴别器D1、D2和D3分别来辨别这3种尺寸图像的真假。

最粗糙尺度上的鉴别器感受野最大,负责让图像全局和谐,最精细尺度的鉴别器负责引导生成器生成出精致的细节。

改良损失函数

在Conditional GAN的目标函数LGAN(G, D)

的基础上,pix2pixHD又基于鉴别器引入了一个特征匹配损失,生成器训练之后所生成的各种尺寸图像越来越自然,损失在也随之稳定。

将鉴别器Dk第i层的特征提取器表示为D(i)k,特征匹配损失函数可以表示如下:

完整的目标函数如下,包含GAN损失和特征匹配损失:

从语义标记图到合成图像

图像生成经常用到语义标记图(semantic lable maps),不过本文作者们认为,实例图(instance map)里最重要信息,并没有包含在语义标记图中。

比如说上图a里,所有汽车连成一体,无法分开,这就需要先计算出如上图b所示的实例边界图(instance boundary map)。

用了实例边界图,生成的图像就不会出现下图a中两辆汽车细节不清楚的情况了。

解决了语义标记图自身的缺陷之后,还有一个问题:我们前面所说的图上每个物体都能单独控制,是怎样实现的呢?

在pix2pixHD中,作者们为了生成低维特征,训练了一个编码网络E来寻找和图中每个实例的真实目标相对应的低维向量。另外,还使用了一个标准的编码器-解码器组成的编码架构。

为了确保每个实例内部的特征都协调,作者们在编码器的输出上添加了一个实例级平均池化层,来计算实例的平均特征。然后这个将这个平均特征广播到实例中的所有像素位置上,如下图所示:

广为流传的pix2pix

这个pix2pixHD,从名字到架构,都可以说是pix2pix的升级版。

这篇新论文主要来自英伟达,不过混入了一位加州大学伯克利分校的作者Jun-Yan Zhu,清华CMU伯克利系列学霸、猫奴、也是pix2pix的二作。

他所在的实验室,在图像合成和风格迁移领域贡献了大量论文,还非常良心地都开源了代码。

其中,pix2pix更是流传甚广。比如说不少广为人知的线稿变照片demo,都是基于他们的pix2pix,其中最知名&好玩的,大概要数随手就能画只猫的edges2cats。

画猫的demo大受欢迎,以至于后来被网友们玩出了各种各样的新高度。同样基于pix2pix,画鞋画包画房子的都有,这里有一系列demo,都可以上手试一试:https://affinelayer.com/pixsrv/index.html

如今,有了高清版的pix2pixHD,同样开源了代码,不知道又要玩出什么新花样了。

(☆☆)期待~

本文来自企鹅号 - 数据派THU媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【新手必备】GAN生成对抗网络论文阅读路线图(附论文下载链接)

作者:İdil Sülo, Middle East Technical University

883
来自专栏机器学习算法与Python学习

资料 | 生成对抗网络(GAN)论文阅读路线图【打包下载】

为了帮助其他想要了解更多关于GAN技术的人,我想按照我阅读的顺序分享一些我读过的文章。在阅读这些论文之前,如果您不熟悉这些论文,我建议您学习一些深度学习的基础知...

1143
来自专栏大数据文摘

生成对抗网络(GANs)最新家谱:为你揭秘GANs的前世今生

1232
来自专栏WindCoder

探索监督式机器学习算法

这周送来一篇python实现的机器学习的相关文章。一起学习吧。能力有限,一切以英文原文为准。里面部分公式改好好久,总是有一些变不过来,这些暂时看英文里面的吧。

821
来自专栏SIGAI学习与实践平台

机器学习发展历史回顾

机器学习是现阶段解决很多人工智能问题的主流方法,作为一个独立的方向,正处于高速发展之中。最早的机器学习算法可以追溯到20世纪初,到今天为止,已经过去了100多年...

1793
来自专栏BestSDK

10 种最热门的机器学习算法|附源代码

1、线性回归 线性回归通常用于根据连续变量估计实际数值(房价、呼叫次数、总销售额等)。我们通过拟合最佳直线来建立自变量和因变量的关系。这条最佳直线叫做回归线,并...

3645
来自专栏AI研习社

基于 Python 的自动文本提取:抽象法和生成法的比较

本博客是对文本摘要的简单介绍,可以作为当前该领域的实践总结。它描述了我们(一个RaRe 孵化计划中由三名学生组成的团队)是如何在该领域中对现有算法和Python...

1912
来自专栏机器之心

资源 | 你是合格的数据科学家吗?30道题测试你的NLP水平

选自Analyticsvidhya 作者:Shivam Bansal 机器之心编译 参与:黄小天、李亚洲、Smith 近日,analyticsvidhya 上出...

3708
来自专栏腾讯技术工程官方号的专栏

【AAAI 2018】腾讯 AI Lab 11篇论文精选:图像描述、NMT 模型、图卷积神经网络、DNN优化等

AAAI 2018 将于2月2日至7日在美国新奥尔良举行, 腾讯 AI Lab 有11篇论文被录用,本文精选了11篇论文的精彩内容。

74110
来自专栏量子位

GAN能合成2k高清图了!还能手动改细节 | 论文+代码,英伟达出品

夏乙 安妮 编译整理 量子位 出品 | 公众号 QbitAI 输入一张语义地图—— ? 就能为你还原整个世界。 ? 输入一张亲妈都认不出来的语义标注图—— ? ...

3668

扫码关注云+社区