选自openreview 机器之心编译 参与：蒋思源 ICLR 作为深度学习顶级会议，今年共接收到了 981 篇有效论文。去年 11 月，ICLR 2018 论文评审结果出炉，今天主办方正式放出接收论文结果：2.3% 的 oral 论文、31.4% 的 poster 论文、9% 被接收为 workshop track，51% 的论文被拒收、6.2% 的撤回率。而备受关注的论文《Matrix capsules with EM routing》作者也得以揭晓：Geoffrey Hinton 为一作，其他两位作者
作者：inFERENce 翻译：余志文 去年我一直在研究如何更好地调整GANs中的不足，但因为之前的研究方向只关注了损失函数，完全忽略了如何寻找极小值问题。直到我看到了这篇论文才有所改变： 详解论文: The Numerics of GANs 我参考了Mar的三层分析，并在计算层面上仔细考虑了这个问题：我们这样做的最终目标是什么？我相信GANs在这个层面已经有所突破了，因为他们试图优化错误的东西或寻求不存在的平衡等。这就是为什么我喜欢f-GANs、Wasserstein GANs、实例噪声，而不大喜欢在优化
春恋慕三元组损失（Triplet loss）是一种被广泛应用的度量学习损失，是在研究度量学习时的重点，今天来深入探究一下关于三元组损失的概念和原理。
今天讲述的内容还是GAN的训练，也是最后一期，做几个简单的小实验，告诉大家怎么给GAN加正则项，使得你的GAN尽可能收敛。其实今天的内容本来还是与动力学结合很紧密，但是考虑到复杂的数学内容可能有害无益，我就将数学部分都删除了，只展示最直观的结果。
感谢阅读「美图数据技术团队」的第 11 篇原创文章，关注我们持续获取美图最新数据技术动态。
一般我们在训练神经网络模型的时候，都是每隔多少步，输出打印一下loss或者每一步打印一下loss，今天发现了另一种记录loss变化的方法，就是用
变分自编码器（VAE）是当下最流行的生成模型系列之一，它可以被用来刻画数据的分布。经典的期望最大化（EM）算法旨在学习具有隐变量的模型。本质上，VAE 和 EM 都会迭代式地优化证据下界（ELBO），从而最大化观测数据的似然。本文旨在为 VAE 和 EM 提供一种统一的视角，让具有机器学习应用经验但缺乏统计学背景的读者最快地理解 EM 和 VAE。 论文链接（已收录于AI open）：https://www.aminer.cn/pub/6180f4ee6750f8536d09ba5b 1 引言 我们往往
生成器试图找到最好的图像来欺骗鉴别器。当两个网络互相对抗时，“最佳”图像不断变化。但是，优化可能会变得过于贪心，使其陷入永无止境的猫捉老鼠游戏中。这是模型不收敛和模式崩溃的原因之一。
1：优化器 机器学习训练的目的在于更新参数，优化目标函数，常见优化器有SGD，Adagrad，Adadelta，Adam，Adamax，Nadam。 其中SGD和Adam优化器是最为常用的两种优化器，SGD根据每个batch的数据计算一次局部的估计，最小化代价函数。学习速率决定了每次步进的大小，因此我们需要选择一个合适的学习速率进行调优。学习速率太大会导致不收敛，速率太小收敛速度慢。 因此SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下，结果更可靠。Adam优化器结合了Adagrad善于处理
1：优化器。机器学习训练的目的在于更新参数，优化目标函数，常见优化器有SGD，Adagrad，Adadelta，Adam，Adamax，Nadam。其中SGD和Adam优化器是最为常用的两种优化器，SGD根据每个batch的数据计算一次局部的估计，最小化代价函数。
变分自编码器(VAE)是一种应用广泛的无监督学习方法，它的应用包括图像生成、表示学习和降维等。虽然在网络架构上经常与Auto-Encoder联系在一起，但VAE的理论基础和数学公式是截然不同的。本文将讨论是什么让VAE如此不同，并解释VAE如何连接“变分”方法和“自编码器”。
最常见的评价GAN的方法就是主观评价。主观评价需要花费大量人力物力，且存在以下问题：
神经网络优化本质上是非凸的，但简单的基于梯度的方法似乎总是能解决这样的问题。这一现象是深度学习的核心支柱之一，并且也是我们很多理论学家试图揭示的谜题。这篇文章将总结一些试图攻克这一问题的近期研究，最后还将讨论我与 Sanjeev Arora、Noah Golowich 和 Wei Hu 合作的一篇新论文（arXiv：1810.02281）。该论文研究了深度线性神经网络上梯度下降的情况，能保证以线性速率收敛到全局最小值。
（1） 学习到高维抽象的分布函数 （2） 模拟预测未来数据 （3） 处理缺省数据问题：如半监督学习 （4） 生产真实样本 建立模型，分析数据特征，还原数据，……
今天给大家介绍来自哈佛医学院、麻省理工学院以及东北大学（美国）团队发表在Nature Communications上的文章，文章提出一个变分自编码器的概率模型（msiPL）用于学习质谱图像的低维嵌入表示。该模型可分析不同类型质谱仪和不同组织类型的质谱图像；并在3个公开的质谱成像（MSI）数据集以及2个由该论文作者收集整理的MSI数据集上进行了实验，实验结果表明msiPL可以有效的分析这些MSI数据集。
一个时间序列，如果均值和方差没有系统变化或周期性变化（均值无变化：没有明显趋势，方差无变化：波动比较稳定），就称之为平稳的。
一年前，网友在 reddit 上提问道，生成式对抗网络 GAN 是否可以应用到自然语言处理上。GAN 理论的提出者，OpenAI 的科学家，深度学习理论奠基人之一 Yoshua Bengio 的得意门生 Ian Goodfellow 博士回答了这个问题：
实际中有很多问题是一个因变量与多个自变量成线性相关，我们可以用一个多元线性回归方程来表示。
本文主要介绍一篇被 ICLR 2021 会议录用的一篇论文：《Zero-shot Synthesis with Group-Supervised Learning》。
https://www.ijcai.org/Proceedings/2020/0077.pdf
DSOD: Learning Deeply Supervised Object Detectors from Scratch ICCV2017 https://github.com/szq0214/DSOD
而VAE背后的关键点在于：为了从样本空间中找到能够生成合适输出的样本（就是能输出尽可能接近我们所规定分布的数据），它并没有试图去直接构造一个隐藏空间(隐藏变量所在的空间)，而是构造了一个类似于具有编码器和解码器两个部分的网络：
2017 年 12 月 NIPS 的 Test-of-Time Award 颁奖典礼上，Ali Rahimi 这样呼吁人们加深对深度学习的理解：
机器之心原创 作者：蒋思源 最近，ICLR 2018 高分论文讨论了 Adam 等适应性学习率算法的收敛性缺点，并提出了一种新的 Adam 变体。为此，我们从 AdaGrad 开始，依次分析了 AdaDelta、RMSProp 和 Adam 等适应性学习率算法家族，并在最后结合该 ICLR 2018 高分论文讨论 Adam 的非收敛性和修正的方法。 随机梯度下降是当前训练深度网络的主流方法，该方法通过在小批量数据上计算损失函数的梯度而迭代地更新权重与偏置项。特别的，SGD 的一类变体通过使用历史梯度某种形式
论文题目：Anytime3D Object Reconstruction Using Multi-Modal Variational Autoencoder
三层网络结构：输入层，编码层（隐藏层），解码层。 训练结束后，网络可由两部分组成：1）输入层和中间层，用这个网络对信号进行压缩；2）中间层和输出层，用这个网络对压缩的信号进行还原。图像匹配就可以分别使用，首先将图片库使用第一部分网络得到降维后的向量，再讲自己的图片降维后与库向量进行匹配，找出向量距离最近的一张或几张图片，直接输出或还原为原图像再匹配。 该网络的目的是重构其输入，使其隐藏层学习到该输入的良好表征。其学习函数为 h(x)≈x h ( x ) ≈ x h(x) \approx x。但如果输入完全等于输出，即 g(f(x))=x g ( f ( x ) ) = x g(f(x)) = x，该网络毫无意义。所以需要向自编码器强加一些约束，使它只能近似地复制。这些约束强制模型考虑输入数据的哪些部分需要被优先复制，因此它往往能学习到数据的有用特性。一般情况下，我们并不关心AE的输出是什么（毕竟与输入基本相等），我们所关注的是encoder，即编码器生成的东西，在训练之后，encoded可以认为已经承载了输入的主要内容。 自动编码器属于神经网络家族，但它们与PCA（主成分分析）紧密相关。尽管自动编码器与PCA很相似，但自动编码器比PCA灵活得多。在编码过程中，自动编码器既能表征线性变换，也能表征非线性变换；而PCA只能执行线性变换。
【导读】OpenAI 在今年年初扔出一项重大研究，Sora 将视频生成带入一个新的高度，很多人表示，现在的 OpenAI 一出手就是王炸。然而，众多周知的是，OpenAI 一向并不 Open，关于 Sora 的更多细节我们无从得知。谁能率先发布类 Sora 研究成了一个热门话题。
今天学习的是 Thomas N. Kipf 的 2016 年的工作《Variational Graph Auto-Encoders》，目前引用量为 260 多。
是关于Θ的一个函数，我们当前所处的位置为Θ0点，要从这个点走到J的最小值点\nabla 是梯度,\alpha是学习率或者步长
感知机是二类分类的线性分类模型。 感知机只在求出线性可分的分类超平面，通过梯度下降法对损失函数极小化建立感知机模型。 感知机1957年由Rosenblatt提出，是神经网络和支持向量机的基础
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识，方便以后我们遇到各类功能不同的损失函数有个清楚的认知，而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能，以及对整个损失函数体系进行深入了解。
计算机视觉三大会议之一的ECCV 2020刚刚落下帷幕，本文主要介绍阿联酋起源人工智能研究院（IIAI）的科学家们在该会议上发表的一篇论文：《Invertible Zero-Shot Recognition Flows》。
传统的自动编码器是一种数据的压缩算法 其算法包括编码阶段和解码阶段，且拥有对称的结构。
知乎: Lukan 来源: https://zhuanlan.zhihu.com/p/561124500 最近在做一个nlp的回归任务，所以直接套用之前做分类问题的的代码，仅仅修改了下损失函数而已，结果发现验证损失一直在震荡，不收敛，但是别人的代码loss却能够稳定下降，最终下降到0.1左右，而我的只能却一直飘，最终只下降到0.14，如下图： 最后通过对比别人的代码，我发现其实就两行代码的差异： 这边把bert内部的dropout全部关掉了，于是我也尝试了这种做法，最终得到这样的一个loss，对比一下
生成式对抗网络(generative adversarial network,GAN)是基于可微生成器网络的另一种生成式建模方法。生成式对抗网络基于博弈论场景，其中生成器网络必须与对手竞争。生成网络直接产生样本 。其对手，判别器网络(dircriminator network)试图区分从训练数据抽取的样本和从生成器抽取的样本。判别器出发由 给出的概率值，指示x是真实训练样本而不是从模型抽取的伪样本的概率。
TensorFlow游乐场是一个通过网页浏览器就可以训练的简单神经网络并实现了可视化训练过程的工具。可以去简单地模拟深度学习的过程。连线越粗表明权重越大。
【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。这篇文章旨在提供梯度下降算法中的不同变种的介绍，帮助使用者根据具体需要进行使用。 这篇文章首先介绍梯度下降算法的三种框架，然后介绍它们所存在的问题与挑战，接着介绍一些如何进行改进来解决这些问题，随后，介绍如何在并行环境中或者分布式环境
【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。这篇文章旨在提供梯度下降算法中的不同变种的介绍，帮助使用者根据具体需要进行使用。 这篇文章首先介绍梯度下降算法的三种框架，然后介绍它们所存在的问题与挑战，接着介绍一些如何进行改进来解决这些问题，随后，介绍如何在并行环境中或者分布式环
我们得到对应的面积是无穷大的， 就知道对应的 improper integral 反常积分， 不收敛
对于凸优化来说，任何局部最优解即为全局最优解。用贪婪算法或梯度下降法都能收敛到全局最优解，损失曲面如下。
AI 科技评论按：神经网络的优化本质上是一个非凸问题，而简单的基于梯度的算法在实践中似乎总是能够解决这类问题。这种现象是深度学习的核心支柱之一，而目前有许多理论科学家家正试图解开这个谜：为什么基于梯度的方法能够在深度学习的优化中行之有效。
在很多机器学习的实验室中，机器已经进行了上万小时的训练。在这个过程中，研究者们往往会走很多弯路，也会修复很多bug，但可以肯定的是，在机器学习的研究过程中，学到经验和知识的并不仅仅是机器，我们人类也积累的丰富的经验，本文就将给你几条最实用的研究建议。
一个简单的前向传播和反向传播的示意图如下，线性组合和非线性激活交替进行，线性组合层可以为全连接层或卷积层等，图片来自链接，
今天看到这么一个论文题目“A Novel Framework for Selection of GANs for an Application ”，这名字有、6啊，好久没有出厉害的GAN的变体了吧？新颖的GAN框架？决定下载下来看！引入眼帘的是摘要：
头一阵子放假了，专栏都没有怎么更新了，今天开始继续更新（想问问小伙伴们都放了多久的假期？我们只有两周感觉时间好短呀~）
有限元分析的过程主要包括复杂模型建立、网格划分、材料赋予、边界条件设立以及外载荷添加等，在完成有限元模拟前处理过程后提交任务进行计算，有的时候会出现不收敛问题，常常让人很头大，这个时候应该如何来解决呢？
百度百科这样解释：是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。
生成模型是机器学习中一个有趣的领域，在这个领域中，网络学习数据分布，然后生成新的内容，而不是对数据进行分类。生成建模最常用的两种方法是生成对抗网络(GAN)和可变自编码器(VAE)。在这篇文章中，我将尝试解释可变自动编码器(VAE)背后的原理，以及它是如何生成上述面的数据的。
深度学习是一门很难评估代码正确性的学科。随机初始化、庞大的数据集和权重的有限可解释性意味着，要找到模型为什么不能训练的确切问题，大多数时候都需要反复试验。在传统的软件开发中，自动化单元测试是确定代码是否完成预期任务的面包和黄油。它帮助开发人员信任他们的代码，并在引入更改时更加自信。一个破坏性的更改将会被单元测试检测到。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
