欢迎来到专栏《GAN的优化》，这是第二期。在这个专栏中，我们会讲述GAN的相关背景、基本原理、优化等相关理论，尤其是侧重于GAN目标函数的优化。小米粥和有三将带领大家从零学起，深入探究GAN的点点滴滴。
相对熵又叫KL散度，也叫做信息增益，如果我们对于同一个随机变量，有两个单独的概率分布和，我们可以用KL散度来衡量这两个分布的差异。
KL距离，即Kullback-Leibler Divergence，也被成为信息熵（Relative Entropy）。一般KL距离用来衡量同意事件中，两种概率分布的相似程度，这个值越小，则相似程度越高。
与回归任务不同，分类任务是指标签信息是一个离散值，其表示的是样本对应的类别，一般使用one-hot向量来表示类别，例如源数据中有两类，分别为猫和狗，此时可以使用数字1和数字2来表示猫和狗，但是更常用的方法是使用向量[0,1]表示猫，使用向量[1,0]表示狗。one-hot的中文释义为独热，热 的位置对应于向量中的1，所以容易理解独热的意思是指向量中只有一个位置为1，而其他位置都为0。那么使用独热编码表征类别相较于直接用标量进行表征有什么好处呢，从类别的区分性来说，两者都可以完成对不同类别的区分。但是从标量数字的性质来说，其在距离方面的诠释不如one-hot。例如现在有三个类别，分别为猫，狗和西瓜，若用标量表示可以表示为label猫=1，label狗=2，label西瓜=3，从距离上来说，以欧氏距离为例，dist(猫，狗)=1，dist(狗，西瓜)=1，dist(猫，西瓜)=2，这样会得出一个荒谬的结论，狗要比猫更像西瓜，因此用标量来区分类别是不明确的，若以独热编码表示类别，即label猫=[1,0,0],label狗=[0,1,0],label西瓜=[0,0,1],容易验证各类别之间距离都相同。
数据决定了任务的上限，模型方法决定达到上限的能力。在这里想借助信息熵的一些概念来对数据的重要性做一些分析，将数据的分布差异度量出来，并据此得到特征对于分类的重要性度量。 对于特征的重要性的分析不适合放到特征特别多的情况下，因为往往特征之间是不独立的，所以去统计大量的特征组合的分布是一件很费时间的事情，但是本文的方法对于单个特征或者中少量的特征还是可以尝试的。
早在2018年和2019年，SIGAI微信公众号先后发布过“机器学习算法地图”，“深度学习算法地图”，对机器学习、深度学习的知识脉络进行了梳理与总结，帮助大家建立整体的知识结构。这两张知识结构图的纸质版发行量和电子版下载量已经超过10万，有不少高校的机器学习课程还特地讲到了这两张图。在今天这篇文章里，我们将对机器学习的数学知识进行总结，画出类似的结构图。由于数学知识体系太过庞大，因此我们分成了整体知识结构图，以及每门课的知识结构图。
越学习越发现自己知之甚少，道阻且长，还是认真看下这篇文章，好好琢磨琢磨GAN吧。
中秋节快到了，掘金社区一如既往十分贴心的在这种有意义节日里推出了社区周边的礼盒，像之前的端午粽子礼盒，这次推出了中秋月饼礼盒。
导语：本章将为读者介绍基于深度学习的生成模型。前面几章主要介绍了机器学习中的判别式模型，这种模型的形式主要是根据原始图像推测图像具备的一些性质，例如根据数字图像推测数字的名称，根据自然场景图像推测物体的边界；而生成模型恰恰相反，通常给出的输入是图像具备的性质，而输出是性质对应的图像。这种生成模型相当于构建了图像的分布，因此利用这类模型，我们可以完成图像自动生成（采样）、图像信息补全等工作。另外，小编Tom邀请你一起搞事情！ 在深度学习之前已经有很多生成模型，但苦于生成模型难以描述难以建模，科研人员遇到了很多
来源：1024深度学习 作者：冯超 本文长度为2600字，建议阅读6分钟 本章介绍基于深度学习思想的生成模型——VAE和GAN，以及GAN的变种模型。 在深度学习之前已经有很多生成模型，但苦于生成模型难以描述难以建模，科研人员遇到了很多挑战，而深度学习的出现帮助他们解决了不少问题。本章介绍基于深度学习思想的生成模型——VAE和GAN，以及GAN的变种模型。 VAE 本节将为读者介绍基于变分思想的深度学习的生成模型——Variational autoencoder，简称VAE。 1.1 生成式模型 前
本篇译自：https://medium.com/@abdelmatyne5/uuid-vs-crypto-randomuuid-vs-nanoid
生成对抗网络（GAN，Generative adversarial network）自从2014年被lan Goodfellow提出以来，掀起了一股研究热潮。GAN由生成器和判别器组成，生成器负责生成样本，判别器负责判断生成器的样本是否为真。生成器要尽可能迷惑判别器，而判别器要尽可能区分生成器生成的样本和真实样本。
本章将为读者介绍基于深度学习的生成模型。这种模型的形式主要是根据原始图像推测图像具备的一些性质，例如根据数字图像推测数字的名称，根据自然场景图像推测物体的边界；而生成模型恰恰相反，通常给出的输入是图像
编者按：本书节选自图书《深度学习轻松学》第十章部分内容，书中以轻松直白的语言，生动详细地介绍了深层模型相关的基础知识，并深入剖析了算法的原理与本质。同时还配有大量案例与源码，帮助读者切实体会深度学习的核心思想和精妙之处。 又双叒叕赠书啦！请关注文末活动。 本章将为读者介绍基于深度学习的生成模型。前面几章主要介绍了机器学习中的判别式模型，这种模型的形式主要是根据原始图像推测图像具备的一些性质，例如根据数字图像推测数字的名称，根据自然场景图像推测物体的边界；而生成模型恰恰相反，通常给出的输入是图像具备的性质，而
机器学习和深度学习发展到了今天，造出的AI已经可以在下棋方面狂虐人类。设计个识别不雅图片的算法也不难实现。
在机器学习或者深度学习领域，生成模型具有非常广泛的应用，它可以用于测试模型的高维概率分布的表达能力，可以用于强化学习、半监督学习，可以用于处理多模输出问题，以及最常见的产生“真实”数据问题。
总的来说，该前端面试覆盖的内容还是相当广的，而且非常注重基础（这应该是大厂的一贯风格）。计算机基础课程操作系统、数据结构、计算机网络必须非常扎实，然后前端css、js、框架原理源码和node都要熟悉或者有一定了解，还要对前端的新发展有一定了解。
这是专栏《AI初识境》的第11篇文章。所谓初识，就是对相关技术有基本了解，掌握了基本的使用方法。
前言：本文讲解了机器学习需要用到的信息论中关于信息熵的知识，并用代码演示如何计算信息熵和互信息。
关于转盘类型的活动我相信大家多多少少都接触到了，很多的抽奖界面都是这类型的，今天这篇小文章就简单的总结一下我们游戏中需要实现这样一个效果的时候我们该怎样去做，其实只要是Cocos类型的，不管是C++的还是JS还是Lua他们之间的道理是相同的，类似于下面这样图的效果：
应各位老爷要求，这篇文章开始拥抱hooks，本文将从vue3与react 17.x（hooks）对比来感受两大框架的同工异曲之处。
第一件事是确定方块序列怎么生成的，看了下js有很友好的给出源文件地址，随机数生成核心： return (v * a + C) % M;`，种子也是固定的，就放弃了RL的想法。
Generative Adversarial Network，就是大家耳熟能详的 GAN，由 Ian Goodfellow 首先提出，在这两年更是深度学习中最热门的东西，仿佛什么东西都能由 GAN 做出来。我最近刚入门 GAN，看了些资料，做一些笔记。 1.Generation 什么是生成（generation）？就是模型通过学习一些数据，然后生成类似的数据。让机器看一些动物图片，然后自己来产生动物的图片，这就是生成。 以前就有很多可以用来生成的技术了，比如 auto-encoder（自编码器），结构如
Π(P1,P2)是P1和P2分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布γ，可以从中采样(x,y)∼γ得到一个样本x和y，并计算出这对样本的距离||x−y||，所以可以计算该联合分布γ下，样本对距离的期望值E(x,y)∼γ[||x−y||]。在所有可能的联合分布中能够对这个期望值取到的下界infγ∼Π(P1,P2)E(x,y)∼γ[||x−y||]就是Wasserstein距离。
开发者写代码，和数学家写公式一样是非常自然的一件事。开发者将完成某个任务的步骤和逻辑，一行行写成代码，并期待达到预定的效果。数学家从某个事实出发，将思考过程一行行写成表达式，并期待找到复杂逻辑背后的简单关系。
欢迎投稿，请前往 GitHub 的 ruanyf/weekly 提交 issue。
变分自编码器（VAE）是当下最流行的生成模型系列之一，它可以被用来刻画数据的分布。经典的期望最大化（EM）算法旨在学习具有隐变量的模型。本质上，VAE 和 EM 都会迭代式地优化证据下界（ELBO），从而最大化观测数据的似然。本文旨在为 VAE 和 EM 提供一种统一的视角，让具有机器学习应用经验但缺乏统计学背景的读者最快地理解 EM 和 VAE。 论文链接（已收录于AI open）：https://www.aminer.cn/pub/6180f4ee6750f8536d09ba5b 1 引言 我们往往
自机器学习重新火起来，深度强化学习就一直是科研的一大热点，也是最有可能实现通用人工智能的一个分支。然而对于没有强化学习基础的同学们，如果直接去学习深度强化学习，想必会碰到很多问题。本文尝试普及一些最基础的强化学习算法，并以一个小例子来辅助大家理解。
机器之心原创 作者：蒋思源 本文是机器之心第二个 GitHub 实现项目，上一个 GitHub 实现项目为从头开始构建卷积神经网络。在本文中，我们将从原论文出发，借助 Goodfellow 在 NIPS 2016 的演讲和台大李弘毅的解释，完成原 GAN 的推导、证明与实现。 本文主要分四部分，第一部分描述 GAN 的直观概念，第二部分描述概念与优化的形式化表达，第三部分将对 GAN 进行详细的理论推导与分析，最后我们将实现前面的理论分析。 GitHub项目地址：https://github.com/jiq
几乎所有的机器学习算法都归结为求解最优化问题。有监督学习算法在训练时通过优化一个目标函数而得到模型，然后用模型进行预测。无监督学习算法通常通过优化一个目标函数完成数据降维或聚类。强化学习算法在训练时通过最大化奖励值得到策略函数，然后用策略函数确定每种状态下要执行的动作。多任务学习、半监督学习的核心步骤之一也是构造目标函数。一旦目标函数确定，剩下的是求解最优化问题，这在数学上通常有成熟的解决方案。因此目标函数的构造是机器学习中的中心任务。
雷锋网 AI 科技评论按，2019 年 3 月21 日，google 发布了他们有史以来第一个人工智能 Doodle ，以庆祝世界著名的德国作曲家和音乐家——巴赫的生日！
来源：信息网络工程研究中心本文共1000字，建议阅读5分钟本文带你了解GAN、DCGAN、WGAN、SRGAN。 GAN 生成网络接收一个随机噪声，生成逼真图像; 判别网络接收一个图像，生成该图像是真实的概率（0～1）; GAN网络中存在两个不同的网络，训练方式采用的是对抗训练方式，其中G的梯度更新信息来自于判别器D，而不是来自数据样本。 GAN不适合处理离散形式的数据，比如文本。 使用JS散度作为距离公式 DCGAN DCGAN（deep convolutional generative adversa
在尝试改进Guess.js的预测模型时，我开始研究深度学习。我主要关注RNN，特别是LSTM，因为它们在Guess.js领域具有不合理的有效性（unreasonable effectiveness）。并且，我开始使用CNN，虽然传统上不那么常用，但也可用于时间序列。CNN通常用于图像分类，识别和检测。
GAN的思想就是：这是一个两人的零和博弈游戏，博弈双方的利益之和是一个常数，比如两个人掰手腕，假设总的空间是一定的，你的力气大一点，那你就得到的空间多一点，相应的我的空间就少一点，相反我力气大我就得到的多一点，但有一点是确定的就是，我两的总空间是一定的，这就是二人博弈，但是呢总利益是一定的。
我想大多数人和我一样，第一次听见“人工智能”这个词的时候都会觉得是一个很高大上、遥不可及的概念，特别像我这样一个平凡的前端，和大部分人一样，都觉得人工智能其实离我们很遥远，我们对它的印象总是停留在各种各样神奇而又复杂的算法，这些仿佛都是那些技术专家或者海归博士才有能力去做的工作。我也曾一度以为自己和这个行业没有太多缘分，但自从Tensorflow发布了JS版本之后，这一领域又引起了我的注意。在python垄断的时代，发布JS工具库不就是意味着我们前端工程师也可以参与其中？
很多场景需要考虑数据分布的相似度/距离：比如确定一个正态分布是否能够很好的描述一个群体的身高（正态分布生成的样本分布应当与实际的抽样分布接近），或者一个分类算法是否能够很好地区分样本的特征（在两个分类下的数据分布的差异应当比较大）。
本文对压缩感知重构算法中的子空间追踪(SP)算法和压缩采样匹配追踪(CoSaMP)算法进行了研究对比。SP算法是一种基于正交匹配追踪(OMP)算法的改进算法，旨在解决信号重构中的稀疏信号的逼近问题。CoSaMP算法是一种基于贪婪算法的信号重构算法，具有与SP算法相近的复杂度。实验结果表明，在相同的测量矩阵下，SP算法和CoSaMP算法均可以有效地重构稀疏信号，但CoSaMP算法在某些情况下可能会遇到匹配追踪问题。然而，SP算法的性能在某些情况下可能会受到初始值的影响，因此需要进一步研究以提高其性能。
以下仅是我对于这个比赛的思考过程，可能是拿高分的技巧，但我并没有因此拿高分，本人算法水平有限大佬勿喷，对文章中的问题欢迎指出。
在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文Wassertein GAN 却在 Reddit 的 Machine Learning 频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？
前面理论知识上提到了很多的知识点需要计算，作为一个实用主义的博主，怎么可以忍受空谈呢？所以本期就给大家分享如何利用Python对这些知识点进行计算。
授权转载自知乎: SCUT 胡杨 除了干货，我们还约了作者本人和大家聊一聊！用线上免费直播的形式，把原理和思考都讲透！还有和作者互动提问的机会哟！拉至文末即可扫码进群听课！ 1、基础：文本生成模型的标准框架 文本生成（Text Generation）通过 机器学习 + 自然语言处理 技术尝试使AI具有人类水平的语言表达能力，从一定程度上能够反应现今自然语言处理的发展水平。 下面用极简的描述介绍一下文本生成技术的大体框架，具体可以参阅各种网络文献（比如：CSDN经典Blog“好玩的文本生成”[1]），论文等。
本周推送的话题是WGAN——WassersteinGAN[2]，这篇文章于2017年1月26日出现在arXiv上，并迅速得到了大家的热议，在reddit上有专门的帖子讨论这篇文章，甚至连Ian Goodfellow，GAN的提出者也参与了讨论。文末有reddit讨论区的地址。感谢郑华滨同学推荐的WGAN前传[1]：Towards Principled Methods for Training Generative Adversarial Networks，Martin Arjovsky把文章投给了ICLR 2017，前天公布的录取结果显示文章中了oral。前传是GAN的理论研究，WGAN不仅在理论上做了进一步研究，还提出了针对GAN一系列问题的解决方案，包括mode collapse、训练不稳定等。
关于前端性能优化，有很多文章写的都很详细，大体内容都是减少dom操作，压缩代码文件，减小图片,使用cdn之类的。这些都是一些普遍的问题，因为从根本来看，影响前端性能的因素有三点，一是网络带宽，二是接口返回时间，三是界面渲染速度。
大数据这个行业在科学发展的潮流中也变得越来越火了，来带你看看大数据工程师需要学习哪些必备知识和技能呢？
1 个月前和另外二位小伙伴一起参加了一个 AI 的比赛。虽然比赛结果不理想，至少我享受到了编程过程中的乐趣。从这次比赛中让我认识到 Go 除了写服务端，写游戏模拟器，写 AI 都是拿手好戏。最近微信跳一跳的辅助，冲顶大会的辅助基本也都是 Go 写的。于是我更坐不住了，也写一个来纪念我们那次比赛。
方法/步骤 1 一、什么是pagerank PageRank的Page可是认为是网页，表示网页排名，也可以认为是Larry Page(google 产品经理)，因为他是这个算法的发明者之一，还是google CEO（^_^）。PageRank算法计算每一个网页的PageRank值，然后根据这个值的大小对网页的重要性进行排序。它的思想是模拟一个悠闲的上 网者，上网者首先随机选择一个网页打开，然后在这个网页上呆了几分钟后，跳转到该网页所指向的链接，这样无所事事、漫无目的地在网页上跳来跳 去，Pag
当我们需要对一个网页上的某个按钮进行多次点击以求得某种“好处”的时候，例如天猫的抢红包活动，我们可能需要点击N次之后才有可能获得一个红包，但是这个N是一个未知数，有可能我们要不停地点击半个小时甚至一个小时都还无法获得，自己估计也会点鼠标点得醉了。因此，针对这种情况，我们希望自己写一个小工具来让计算机帮我们做这件事。
从今天开始，我们将关注训练GAN时产生的问题，作为第一篇文章，首先从几个方面来分析一下实际训练的GAN和理论模型上的GAN不同之处以及实践中出现的问题。第一个部分将介绍最优判别器引发的梯度消失问题，第二部分使用一个例子介绍距离计算时的问题，接着第三部分将介绍优化问题的困惑以及给出模式崩溃一个简单解释，最后一部分简单谈一下参数空间的问题。
在IM客户端的使用场景中，基于本地数据的全文检索功能扮演着重要的角色，最常用的比如：查找聊天记录、联系人，就像下图这样。
领取专属 10元无门槛券
手把手带您无忧上云
