专栏首页光城(guangcity)优秀的你,正在拼搏没?

优秀的你,正在拼搏没?

生成式对抗网络初期知识——Gan(一)

今日知图

括号切换


% 括号匹配及切换

0.说在前面1.生成式对抗网络前奏2.基本思想3.生成模型与判别模型4.生成式对抗网络5.基本原理


0.说在前面

今天迎来了我公众号第一篇投稿方,也就是大家所看到的的本篇文章,下面是作者介绍!

川大本科软件工程刘瑞航,LeoLRH,研究方向,遥感图像相关融合,现在的目的就是尽量保研,Never to be the low, fight for the best!

本篇所有归属权为该作者所有!下面一起来看优秀本科生对生成对抗网络的认识!

1.生成式对抗网络前奏

是近些年来最火的无监督学习方法之一,模型由 Goodfellow 等人在 2014 年首次提出,将博弈论中非零和博弈思想与生成模型结合在一起,巧妙避开了传统生成模型中概率密度估计困难等问题,是生成模型达到良好的效果。

2.基本思想

囚徒困境

1950 年,由就职于兰德公司的梅里尔 · 弗勒德和梅尔文 · 德雷希尔拟定出相关困境的理论,后来由顾问艾伯特 · 塔克以囚徒方式阐述,并命名为 “囚徒困境”。经典的囚徒困境如下:

警方逮捕甲、乙两名嫌疑犯,但没有足够证据指控二人有罪。于是警方分开囚禁嫌疑犯,分别和二人见面,并向双方提供以下相同的选择:

  • 若一人认罪并作证检控对方(相关术语称 “背叛” 对方),而对方保持沉默,此人将即时获释,沉默者将判监 10 年。
  • 若二人都保持沉默(相关术语称互相 “合作”),则二人同样判监半年。
  • 若二人都互相检举(互相 “背叛”),则二人同样判监 5 年。

纳什均衡与帕累托最优

如同博弈论的其他例证(详细了解统计学习),囚徒困境假定每个参与者(即 “囚徒”)都是利己的,即都寻求最大自身利益,而不关心另一参与者的利益。那么囚徒到底应该选择哪一项策略,才能将自己个人的刑期缩至最短?两名囚徒由于隔绝监禁,并不知道对方选择;而即使他们能交谈,还是未必能够尽信对方不会反口。就个人的理性选择而言,检举背叛对方所得刑期,总比沉默要来得低。试设想困境中两名理性囚徒会如何作出选择:

  • 若对方沉默、我背叛会让我获释,所以会选择背叛。
  • 若对方背叛指控我,我也要指控对方才能得到较低的刑期,所以也是会选择背叛。
  • 二人面对的情况一样,所以二人的理性思考都会得出相同的结论——选择背叛。

背叛是两种策略之中的支配性策略。因此,这场博弈中唯一可能达到的纳什均衡,就是双方参与者都背叛对方,结果二人同样服刑 5 年。 这场博弈的纳什均衡。

而这显然不是顾及团体利益的帕累托最优解决方案。以全体利益而言,如果两个参与者都合作保持沉默,两人都只会被判刑半年,总体利益更高,结果也比两人背叛对方、判刑 5 年的情况较佳。但根据以上假设,二人均为理性的个人,且只追求自己个人利益。均衡状况会是两个囚徒都选择背叛,结果二人判监均比合作为高,总体利益较合作为低。这就是 “困境” 所在。

这个例子有效地证明了:非零和博弈中,帕累托最优和纳什均衡是互相冲突的。

这个例子转换成机器学习而言,就是: 生成模型与判别模型

3.生成模型与判别模型

机器学习的任务就是学习一个模型,应用这个模型,对给定的输入预测相应的输出。这个模型的一般形式为决策函数 Y=f(x),或者条件概率分布:Y=argmaxP(Y|X)。

机器学习方法又可以分为生成方法和判别方法,所利用的的模型分别称为生成模型(Generative Model)和判别模型(Discriminative Model)。

判别方法由数据直接学习决策函数 f(X),或者条件概率分布 P(Y|X) 作为预测模型,即判别模型。

生成方法由数据学习联合分布 P(X,Y),然后求出条件概率分布 P(Y|X) 做预测的模型,即为生成模型,具体公式如下:‍‍P(Y|X)=P(X,Y)/P(X)(朴素贝叶斯公式)

‍‍相比于判别方法,生成模型更关注数据之间的内在联系,需要学习联合分布;而判别模型更关注于给定输入 X,模型应该预测怎么样的输出 Y。由生成模型可以推导出判别模型,反之则不能。

4.生成式对抗网络

什么是对抗生成网络?用 Ian Goodfellow 自己的话来说:

生成对抗网络是一种生成模型(Generative Model),其背后基本思想就是从训练库里获取很多训练样本,从而学习这些训练案例生成的概率分布。而实现的方法,是让两个网络相互竞争,‘玩一个游戏’。其中一个叫做生成器网络( Generator Network),它不断捕捉训练库里真实图片的概率分布,将输入的随机噪声(Random Noise)转变成新的样本(也就是假数据)。另一个叫做判别器网络(Discriminator Network),它可以同时观察真实和假造的数据,判断这个数据到底是不是真的。”

5.基本原理

生成对抗网络是一个强大的基于博弈论的生成模型学习框架。该模型由 GoodFellow 在 2014 年首次提出,结合了生成模型和对抗学习思想。生成对抗网络的目的是训练一个生成模型 G,给定随机噪声向量 noise,生成符合真实数据分布的样本。 G 训练信号来自于判别器 D(x)。 D(x) 的学习目标目是准确区分输入样本的来源(真实数据或生成数据), 而生成器 D 的学习目标是生成尽可能真实的数据,使得判别器 G 认为生成数据是真实的。整个模型使用梯度下降法进行训练,生成器和判别器可以根据特定的任务选择具体的模型,包括但不限于全连接神经网络(FCN)、卷积神经网络(CNN)、回归神经网络(RNN)、长短期记忆模型(LSTM)等。

本文分享自微信公众号 - 光城(guangcity)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Tree - XGBoost with parameter description

    In the previous post, we talk about a very popular Boosting algorithm - Gradient...

    风雨中的小七
  • 什么数据可以成为“数据资产”?数据资产化又该如何实现?

    数据资产化已成为企业数据资产管理的最重要的环节,怎样识别数据资产、利用现有的数据资产创造价值,将是企业不得不面临的一个课题。

    探码科技
  • 「回顾」爱奇艺搜索排序模型迭代之路

    本次分享内容为爱奇艺在做视频搜索时,遇到的真实案例和具体问题;以及面对这些问题的时候,我们的解决方案。这次分享的ppt针对一线的开发人员,希望可以给一线的开发人...

    石晓文
  • 打分排序系统漫谈3 - 贝叶斯更新/平均

    上一节我们聊了聊用Wilson区间估计来处理小样本估计,但从原理上来说这种方法更像是一种Trick,它没有从本质上解决样本量小的时候估计不置信的问题,而是给估计...

    风雨中的小七
  • 解读人工智能、大数据和云计算的关系,大佬们赌AI竟都输了?

    导读:人工智能(Artificial Intelligence,AI)、大数据(Big Data)和云计算(Cloud Computing)是当前最受关注的技术...

    王知无
  • 机器学习在MVPD视频广告中的应用

    本文来自MHV (Mile High Video) 2019的演讲,作者是来自于Charter公司的Srilal Weera。本次演讲主要讲述了机器学习在视频分...

    用户1324186
  • Elasticsearch X-Pack 系列之 Machine Learning 解析

      目前腾讯云 CES(Cloud Elasticsearch)已经和 Elastic 官方达成商务合作,引入了 X-Pack 商业套件,支持更多的商业特性,例...

    huanghua
  • 千人千面营销系统在携程金融支付的实践

    携程金融核心产品为:拿去花、借去花、信用卡、理财。其中拿去花提供携程产品分期支付服务,借去花提供现金借款服务,信用卡提供携程联名卡、理财则给用户提供有竞争力的理...

    用户1292807
  • 如何跟随有三从零进阶中级CV算法工程师

    (1) Python前后端与小程序部署,完成一个深度学习开源框架在小程序的完整部署过程,将其最终展示为线上服务,就是有三AI小程序平台了(最近网站安全证书到期不...

    用户1508658
  • 一张图看懂数据分析、机器学习、深度学习、人工智能的关系

    一切技术的出现都是为了解决现实问题,而现实问题分为简单问题和复杂问题。简单问题,需要简单分析,我们使用数据分析。复杂问题,需要复杂分析,我们使用机器学习。

    猴子聊数据分析

扫码关注云+社区

领取腾讯云代金券