塔荐 | 关于GAN原理与应用的入门介绍

导读:生成对抗网络(GAN)是一类在无监督学习中使用的神经网络,其有助于解决按文本生成图像、提高图片分辨率、药物匹配、检索特定模式的图片等任务。Statsbot 小组邀请数据科学家 Anton Karazeev 通过日常生活实例深入浅出地介绍 GAN 原理及其应用。

生成对抗网络由 Ian Goodfellow 于 2014 年提出。GAN 不是神经网络应用在无监督学习中的唯一途径,还有玻尔兹曼机(Geoffrey Hinton 和 Terry Sejnowski,1985)和自动解码器(Dana H. Ballard,1987)。三者皆致力于通过学习恒等函数 f(x)= x 从数据中提取特征,且都依赖马尔可夫链来训练或生成样本。

GAN 设计之初衷就是避免使用马尔可夫链,因为后者的计算成本很高。相对于玻尔兹曼机的另一个优点是 GAN 的限制要少得多(只有几个概率分布适用于马尔可夫链抽样)。

在本文中,我们将讲述 GAN 的基本原理及最流行的现实应用。

GAN原理

让我们用一个比喻解释 GAN 的原理吧。

假设你想买块好表。但是从未买过表的你很可能难辨真假;买表的经验可以免被奸商欺骗。当你开始将大多数手表标记为假表(当然是被骗之后),卖家将开始「生产」更逼真的山寨表。这个例子形象地解释了 GAN 的基本原理:判别器网络(手表买家)和生成器网络(生产假表的卖家)。

两个网络相互博弈。GAN 允许生成逼真的物体(例如图像)。生成器出于压力被迫生成看似真实的样本,判别器学习分辨生成样本和真实样本。

判别算法和生成算法有何不同?简单地说:判别算法学习类之间的边界(如判别器做的那样),而生成算法学习类的分布(如生成器做的那样)。

如果你准备深入了解GAN

想要学习生成器的分布,应该定义数据 x 的参数 p_g,以及输入噪声变量 p_z(z)的分布。然后 G(z,θ_g)将 z 从潜在空间 Z 映射到数据空间,D(x,θ_d)输出单个标量——一个 x 来自真实数据而不是 p_g 的概率。

训练判别器以最大化正确标注实际数据和生成样本的概率。训练生成器用于最小化 log(1-D(G(z)))。换句话说,尽量减少判别器得出正确答案的概率。

可以将这样的训练任务看作具有值函数 V(G,D)的极大极小博弈:

换句话说,生成器努力生成判别器难以辨认的图像,判别器也愈加聪明,以免被生成器欺骗。

当判别器不能区分 p_g 和 p_data,即 D(x,θ_d)= 1/2 时,训练过程停止。达成生成器与判别器之间判定误差的平衡。

历史档案图像检索

一个有趣的 GAN 应用实例是在「Prize Papers」中检索相似标记,Prize Papers 是海洋史上最具价值的档案之一。对抗网络使得处理这些具有历史意义的文件更加容易,这些文件还包括海上扣留船只是否合法的信息。

每个查询到的记录都包含商家标记的样例——商家属性的唯一标识,类似于象形文字的草图样符号。

我们应该获得每个标记的特征表示,但是应用常规机器学习和深度学习方法(包括卷积神经网络)存在一些问题:

• 它们需要大量标注图像;

• 商标没有标注;

• 标记无法从数据集分割出去。

这种新方法显示了如何使用 GAN 从商标的图像中提取••和学习特征。在学习每个标记的表征之后,就可以在•扫

描文档上按图形搜索。

将文本翻译成图像

其他研究人员表明,使用自然语言的描述属性生成相应的图像是可行的。文本转换成图像的方法可以说明生成模型模拟真实数据样本的性能。

图片生成的主要问题在于图像分布是多模态的。例如,有太多的例子完美契合文本描述的内容。GAN 有助于解决这一问题。

我们来考虑以下任务:将蓝色输入点映射到绿色输出点(绿点可能是蓝点的输出)。这个红色箭头表示预测的误差,也意味着经过一段时间后,蓝点将被映射到绿点的平均值——这一精确映射将会模糊我们试图预测的图像。

GAN 不直接使用输入和输出对。相反,它们学习如何给输入和输出配对。

下面是从文本描述中生成图像的示例:

用于训练 GAN 的数据集:

• Caltech-UCSD-200-2011 是一个具有 200 种鸟类照片、总数为 11,788 的图像数据集。

• Oxford-102 花数据集由 102 个花的类别组成,每个类别包含 40 到 258 张图片不等。

药物匹配

当其它研究员应用 GAN 处理图片和视频时,Insilico Medicine 的研究人员提出了一种运用 GAN 进行药物匹配的方法。

我们的目标是训练生成器,以尽可能精确地从一个药物数据库中对现有药物进行按病取药的操作。

经过训练后,可以使用生成器获得一种以前不可治愈的疾病的药方,并使用判别器确定生成的药方是否治愈了特定疾病。

肿瘤分子生物学的应用

Insilico Medicine 另一个研究表明,产生一组按参数定义的新抗癌分子的管道。其目的是预测具有抗癌作用的药物反应和化合物。

研究人员提出了一个基于现有生化数据的用于识别和生成新化合物的对抗自编码器(AAE)模型。

数据库中有许多可用的生物化学数据,如癌细胞系百科全书(CCLE)、肿瘤药物敏感基因学(GDSC)和 NCI-60 癌细胞系。所有这些都包含针对癌症的不同药物实验的筛选数据。

对抗自编码器以药物浓度和指纹作为输入并使用生长抑制率数据进行训练(GI,显示治疗后癌细胞的数量减少情况)。

分子指纹在计算机中有一个固定的位数表示,每一位代表某些特征的保留状态。

隐藏层由 5 个神经元组成,其中一个负责 GI(癌细胞抑制率),另外 4 个由正态分布判别。因此,一个回归项被添加到编码器代价函数中。此外,编码器只能将相同的指纹映射到相同的潜在向量,这一过程独立于通过额外的流形代价集中输入。

经过训练,网络可以从期望的分布中生成分子,并使用 GI 神经元作为输出化合物的微调器。

这项工作的成果如下:已训练 AAE 模型预测得到的化合物已被证明是抗癌药物,和需接受抗癌活性化合物实验验证的新药物。

结论

无监督学习是人工智能的下一个蓝海,我们正朝着这一方向迈进。

生成对抗网络可以应用于许多领域,从生成图像到预测药物,所以不要害怕失败。我们相信 GAN 有助于建立一个更好的机器学习的未来。

文章来源:机器之心

文章编辑:秦革

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2017-08-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯高校合作

【犀牛鸟论道】深度哈希方法及其在移动视觉搜索中的应用

1. 简介 移动视觉搜索技术是多媒体搜索领域中一个前沿的研究课题。近年来,移动设备的飞速发展,改变了互联网上图像和视频等视觉内容的产生,以及人们检索和观看的方式...

394100
来自专栏悦思悦读

自己动手制作“平均脸”【1】

有趣的“平均脸” 大家想必看到过很多合成的“平均脸”图片吧。 有按国家、民族合成的: ? 也有针对政要明星合成的,例如这张,韩中日三国明星平均脸: ? “平均脸...

86180
来自专栏大数据文摘

手把手:用OpenCV亲手给小扎、Musk等科技大佬们做一张“平均脸”(附Python代码)

26270
来自专栏AI科技大本营的专栏

读了那么多GANs的原理,还是不懂怎么用!两个案例教教你

编译|AI科技大本营(rgznai100) 参与 | 尚岩奇、周翔 生成式对抗网络(GANs)是一类用于解决无监督学习问题的神经网络,它们可以完成各种任务,例如...

33680
来自专栏CVer

[计算机视觉论文速递] 2018-03-03

通知:这篇推文很长,有32篇论文速递信息,涉及目标检测、图像分割、网络优化、人脸表情识别、SLAM和OCR等方向。 [1]《The 2018 DAVIS Cha...

553120
来自专栏机器学习算法工程师

GAN系列学习(1)——前生今世

作者:刘威威 编辑:李文臣 1 1.GAN的 ‘前世’? 大家都知道GAN是Ian Goodfellow 2 014年放出的一篇开山之作,在深度学习界评价很高,...

49260
来自专栏计算机视觉战队

简单易懂的讲解深度学习(入门系列之六)

在上一讲中,由于感知机不能解决“异或”问题,明斯基并无恶意却把AI冷藏了二十载。但是解决“异或”问题,其实就是能否解决非线性可分问题。如何来解决这个问题呢???

15820
来自专栏AI研习社

Quora Question Pairs 竞赛冠军经验分享:采用 4 层堆叠,经典模型比较给力

AI 研习社按:今天要介绍的比赛是 Quora Question Pairs,该比赛的目的是将具有相同意图的问题正确配对。最近本次竞赛的冠军在 Kaggle 社...

488110
来自专栏大数据挖掘DT机器学习

达观数据NLP技术的应用实践和案例分析

达观文本挖掘系统整体方案 达观文本挖掘系统整体方案包含了NLP处理的各个环节,从处理的文本粒度上来分,可以分为篇章级应用、短串级应用和词汇级应用。 篇章级应用有...

508110
来自专栏CSDN技术头条

推荐系统中基于深度学习的混合协同过滤模型

近些年,深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说,深度学习在推荐系统领域的研究与应用还处于早期阶段。 携程在深度学习与...

411100

扫码关注云+社区

领取腾讯云代金券