自动编码器已成为使计算机系统能够更有效地解决数据压缩问题的技术和技巧之一。它们成为减少嘈杂数据的流行解决方案。
AI 科技评论按：喜欢机器学习和人工智能，却发现埋头苦练枯燥乏味还杀时间？这里是，雷锋字幕组编译的 Arxiv Insights 专栏，从技术角度出发，带你轻松深度学习。 原标题： Variation
自编码器（Autoencoder, AE）是一种数据的压缩算法，其中压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。自编码器通常用于学习高效的编码，在神经网络的形式下，自编码器可以用于降维和特征学习。
选自arXiv 机器之心编译 参与：Panda DeepCoder 是一个好名字，在今年的 ICLR 会议上，剑桥大学和微软就曾提出过一种 DeepCoder，可以组合其它程序代码来生成新程序，参阅机器之心的文章《学界 | 剑桥与微软提交 ICLR 2017 论文提出 DeepCoder：组合其它程序代码生成新程序》。前段时间，又有其他研究者提出了另一种 DeepCoder——一种用于自动面部动作编码的半参数变分自动编码器。机器之心对本文进行了摘要介绍。 论文：DeepCoder：用于自动面部动作编码的半参
【导读】本文是工程师Irhum Shafkat的一篇博文，主要梳理了变分自编码器的相关知识。我们知道，变分自编码器是一种生成模型，在文本生成、图像风格迁移等诸多任务中有显著的效果，那么什么是变分自编码
传统的自动编码器是一种数据的压缩算法 其算法包括编码阶段和解码阶段，且拥有对称的结构。
变分自动编码器（VAE）可以说是最实用的自动编码器，但是在讨论VAE之前，还必须了解一下用于数据压缩或去噪的传统自动编码器。
三层网络结构：输入层，编码层（隐藏层），解码层。 训练结束后，网络可由两部分组成：1）输入层和中间层，用这个网络对信号进行压缩；2）中间层和输出层，用这个网络对压缩的信号进行还原。图像匹配就可以分别使用，首先将图片库使用第一部分网络得到降维后的向量，再讲自己的图片降维后与库向量进行匹配，找出向量距离最近的一张或几张图片，直接输出或还原为原图像再匹配。 该网络的目的是重构其输入，使其隐藏层学习到该输入的良好表征。其学习函数为 h(x)≈x h ( x ) ≈ x h(x) \approx x。但如果输入完全等于输出，即 g(f(x))=x g ( f ( x ) ) = x g(f(x)) = x，该网络毫无意义。所以需要向自编码器强加一些约束，使它只能近似地复制。这些约束强制模型考虑输入数据的哪些部分需要被优先复制，因此它往往能学习到数据的有用特性。一般情况下，我们并不关心AE的输出是什么（毕竟与输入基本相等），我们所关注的是encoder，即编码器生成的东西，在训练之后，encoded可以认为已经承载了输入的主要内容。 自动编码器属于神经网络家族，但它们与PCA（主成分分析）紧密相关。尽管自动编码器与PCA很相似，但自动编码器比PCA灵活得多。在编码过程中，自动编码器既能表征线性变换，也能表征非线性变换；而PCA只能执行线性变换。
生成模型是机器学习中一个有趣的领域，在这个领域中，网络学习数据分布，然后生成新的内容，而不是对数据进行分类。生成建模最常用的两种方法是生成对抗网络(GAN)和可变自编码器(VAE)。在这篇文章中，我将尝试解释可变自动编码器(VAE)背后的原理，以及它是如何生成上述面的数据的。
简而言之，自动编码器通过接收数据、压缩和编码数据，然后从编码表示中重构数据来进行操作。对模型进行训练，直到损失最小化并且尽可能接近地再现数据。通过这个过程，自动编码器可以学习数据的重要特征。
机器学习中体现着各种工程和科学上的哲学思想，大的有集成学习，没有免费午餐，奥卡姆剃刀；小的有最大化类间差异、最小化类内差异。对于很多问题，存在着一类通行的解决思路，其中的一个典型代表就是“编码器-解码器”结构。这一看似简单的结构，背后蕴含的工程思想却非常值得我们学习和品味。
AI 科技评论按：本文作者廖星宇，原载于作者知乎专栏，经授权发布。 什么是自动编码器 自动编码器(AutoEncoder)最开始作为一种数据的压缩方法，其特点有: 跟数据相关程度很高，这意味着自动编码器只能压缩与训练数据相似的数据，这个其实比较显然，因为使用神经网络提取的特征一般是高度相关于原始的训练集，使用人脸训练出来的自动编码器在压缩自然界动物的图片是表现就会比较差，因为它只学习到了人脸的特征，而没有能够学习到自然界图片的特征； 压缩后数据是有损的，这是因为在降维的过程中不可避免的要丢失掉信息； 到
什么是自动编码器 自动编码器(AutoEncoder)最开始作为一种数据的压缩方法，其特点有: 1、跟数据相关程度很高，这意味着自动编码器只能压缩与训练数据相似的数据，这个其实比较显然，因为使用神经网络提取的特征一般是高度相关于原始的训练集，使用人脸训练出来的自动编码器在压缩自然界动物的图片是表现就会比较差，因为它只学习到了人脸的特征，而没有能够学习到自然界图片的特征； 2、压缩后数据是有损的，这是因为在降维的过程中不可避免的要丢失掉信息； 到了2012年，人们发现在卷积网络中使用自动编码器做逐层预训练可以
什么是自动编码器 自动编码器(AutoEncoder)最开始作为一种数据的压缩方法，其特点有: 跟数据相关程度很高，这意味着自动编码器只能压缩与训练数据相似的数据，这个其实比较显然，因为使用神经网络提取的特征一般是高度相关于原始的训练集，使用人脸训练出来的自动编码器在压缩自然界动物的图片是表现就会比较差，因为它只学习到了人脸的特征，而没有能够学习到自然界图片的特征； 压缩后数据是有损的，这是因为在降维的过程中不可避免的要丢失掉信息； 到了2012年，人们发现在卷积网络中使用自动编码器做逐层预训练可以训练
想象一下：你的朋友几周来一直在唠叨你听一首歌，尽管你已经告诉他你不喜欢 Ed Sheeran。 他们继续纠缠你，声称“旋律是伟大的”。 如果只有你能听到文明形式的那种旋律，就像巴赫管风琴协奏曲那样。
变分自动编码器(VAE)是一种有方向的图形生成模型，已经取得了很好的效果，是目前生成模型的最先进方法之一。它假设数据是由一些随机过程,涉及一个未被注意的连续随机变量z假设生成的z是先验分布Pθ(z)和条件生成数据分布Pθ(X | z),其中X表示这些数据。z有时被称为数据X的隐藏表示。
目前深度学习中的神经网络种类繁多，用途各异。由于这个分支在指数增长，跟踪神经网络的不同拓扑有助于更深刻的理解。本文将展示神经网络中最常用的拓扑结构，并简要介绍其应用。
目前深度学习中的神经网络种类繁多，用途各异。由于这个分支在指数增长，跟踪神经网络的不同拓扑有助于更深刻的理解。在本文中，我们将展示神经网络中最常用的拓扑结构。
大数据文摘作品 编译：田奥leo、桑桑、璐、Aileen 27种？！神经网络竟有那么多种？这篇文章将逐一介绍下面这张图片中的27种神经网络类型，并尝试解释如何使用它们。准备好了吗？让我们开始吧！ 神经网络的种类越来越多，可以说是在呈指数级地增长。我们需要一个一目了然的图表，在这些新出现的网络构架和方法之间进行导航。 幸运的是，来自Asimov研究所的Fjodor van Veen编写了一个关于神经网络的精彩图表（就是上面那张大图）。 下面，我们就来逐一看看图中的27种神经网络： Perceptron 感知
这些图像中的所有物体和动物都是由称为生成对抗网络（GAN）的计算机视觉模型生成的！ 这是目前最流行的深度学习分支之一。 这当然有助于激发我们隐藏的创造力!
今天的文章用深入浅出的语言和形式为大家介绍变分自动编码器（VAE）的基本原理，以帮助初学者入门，真正理解这一较为晦涩的模型。还是那种熟悉的风格和味道！读懂本文需要读者理解KL散度包括正态分布之间的KL散度计算公式、KL散度的非负性（涉及到变分法的基本概念），蒙特卡洛算法等基本知识，自动编码的知识。
今天给大家介绍的是ACS central science上一篇分子生成的文章 " Automatic Chemical Design Using a Data-Driven Continuous Representation of Molecules"
想象一下：你的朋友为了听一首歌纠缠了你好几个星期，即使你告诉他们你不喜欢艾德·希兰（Ed Sheeran），神烦！他们一直纠缠你，声称“旋律使它伟大”。要是你能换一种形式来听这种旋律就好了，比如巴赫的管风琴协奏曲那样。
本文探讨了使用一个变分自动编码器来降低使用Keras和Python的金融时间序列的维度。我们将进一步检测不同市场中的金融工具之间的相似性，并将使用获得的结果构建一个自定义指数。
2021年9月17日，中科院上海药物所的蒋华良和郑明月以及华为健康智能实验室的乔楠等人在Journal of Medicinal Chemistry杂志发表文章，对用于从头药物设计的多个生成模型进行了总结和分析。
今天给大家介绍莫纳什大学Shirui Pan等人在 IEEE Transactions on Cybernetics上发表的文章“Learning Graph Embedding With Adversarial Training Methods ”。图嵌入的目的是将图转换成向量，以便于后续的图分析任务，如链接预测和图聚类。但是大多数的图嵌入方法忽略了潜码的嵌入分布，这可能导致在许多情况下较差的图表示。本文提出了一个新的对抗正则化图嵌入框架，通过使用图卷积网络作为编码器，将拓扑信息和节点内容嵌入到向量表示中，从向量表示中进一步构建图解码器来重构输入图。对抗训练原则被应用于强制潜码匹配先验高斯分布或均匀分布。实验结果表明可以有效地学习图的嵌入。
随着深度学习的快速发展，人们创建了一整套神经网络结构来解决各种各样的任务和问题。尽管有无数的神经网络结构，这里有十一种对于任何深度学习工程师来说都应该理解的结构，可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。
作者：叶虎 编辑：田旭 引言 自动编码器是一种无监督的神经网络模型，它可以学习到输入数据的隐含特征，这称为编码(coding)，同时用学习到的新特征可以重构出原始输入数据，称之为解码(decoding)。从直观上来看，自动编码器可以用于特征降维，类似主成分分析PCA，但是其相比PCA其性能更强，这是由于神经网络模型可以提取更有效的新特征。除了进行特征降维，自动编码器学习到的新特征可以送入有监督学习模型中，所以自动编码器可以起到特征提取器的作用。作为无监督学习模型，自动编码器还可以用于生成与训练样本不同的新数
随着深度学习的发展，自动编码器（Autoencoders）成为了一种重要的无监督学习算法。其中，变分自动编码器（Variational Autoencoders，VAEs）作为一种特殊类型的自动编码器，在生成模型、数据压缩和特征学习等领域取得了很大的成功。本文将介绍变分自动编码器的原理和应用，并探讨其在深度学习中的重要性。
上文讲述了机器学习的功能和神经网络的概念，以及简要介绍了感知器和卷积神经网络，接下来继续介绍另外6种神经网络架构。
选自arXiv 作者：Ilya Tolstikhin等 机器之心编译 参与：白悦、许迪 变分自编码器（VAE）与生成对抗网络（GAN）是复杂分布上无监督学习主流的两类方法。近日，谷歌大脑 Ilya Tolstikhin 等人提出了又一种新思路：Wasserstein 自编码器，其不仅具有 VAE 的一些优点，更结合了 GAN 结构的特性，可以实现更好的性能。该研究的论文《Wasserstein Auto-Encoders》已被即将在 4 月 30 日于温哥华举行的 ICLR 2018 大会接收。 表示学习（
原作 Jay Shah Root 编译自 Jay Shah寄几的博客 量子位 出品 | 公众号 QbitAI 最近，神经网络这个词特别火，吸引不少眼球。但是神经网络是个啥？有啥用？ 这篇文章和大家唠唠
选自CodeBurst 机器之心编译 参与：Panda 很显然，深度学习即将对我们的社会产生重大显著的影响。Mobibit 创始人兼 CEO Pramod Chandrayan 近日在 codebur
Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).
从隐图像空间进行采样以创建全新的图像或编辑现有图像是目前创作AI最受欢迎和最成功的应用方式。
麻省理工学院的三位材料科学家及其同事发表的论文中，描述其 AI系统可通过科学论文和提取“食谱”合成特定类型的材料。 2017年11月，美国麻省理工学院的三位材料科学家及其同事发表论文，描述了一种新的人工智能系统，可钻研科学论文并提取“配方”，合成特定类型的材料。 这一工作被看做向为仅理论描述的材料生成配方的系统迈出的第一步。现在，在《计算材料学》（Computational Materials）期刊发表的一篇论文中，这三位材料科学家联合麻省理工学院电机工程与计算机科学系（EECS）的一位同事将这项工作继续往
【导读】近日，深度学习爱好者Prakash Pandey发布一篇博文介绍深度生成模型。我们知道，有监督学习在很多方面都达到了很好的效果，但是，由于有监督学习由于数据集太少等缺点，研究者逐渐偏向于探索无
生成式人工智能是人工智能和创造力交叉的一个令人兴奋的领域，它通过使机器能够生成新的原创内容，正在给各个行业带来革命性的变化。从生成逼真的图像和音乐作品到创建逼真的文本和沉浸式虚拟环境，生成式人工智能正在突破机器所能实现的界限。在这篇博客中，我们将探索使用 VAE、GAN 和 Transformer 的生成式人工智能的前景，深入研究其应用、进步及其对未来的深远影响。
在过去的几年里，深度学习方法在几个领域的表现都超过了以往的机器学习技术，其中最突出的一个例子就是计算机视觉。这篇综述文章简要介绍了计算机视觉问题中最重要的一些深度学习方案，即卷积神经网络、深度玻尔兹曼机和深度信念网络，以及叠加去噪自编码器。简要介绍了它们的历史、结构、优点和局限性，然后介绍了它们在各种计算机视觉任务中的应用，如对象检测、人脸识别、动作和活动识别以及人体姿态估计。最后，简要介绍了未来计算机视觉问题深度学习方案的设计方向和面临的挑战。
生成模型（Generative Model）这一概念属于概率统计与机器学习，是指一系列用于随机生成可观测预测数据得模型。简而言之，就是 “生成” 的样本和 “真实” 的样本尽可能地相似。生成模型的两个主要功能就是学习一个概率分布 P m o d e l ( X ) P_{model}(X) Pmodel(X)和生成数据，这是非常重要的，不仅可以用在无监督学习中，还可以用在监督学习中。
为了帮助大家理清机器学习的知识脉络，建立整体的知识结构，2018年SIGAI推出过机器学习算法地图，纸质版和电子版的阅读量超过10万。两年之后，我们对算法地图进行了优化升级，使得它的结构更为合理清晰，内容更为简洁。下面先看算法地图2021版的整图
概率论，包括它的延伸-信息论，以及随机过程，在机器学习中有重要的作用。它们被广泛用于建立预测函数，目标函数，以及对算法进行理论分析。如果将机器学习算法的输入、输出数据看作随机变量，就可以用概率论的观点对问题进行建模，这是一种常见的思路。本文对机器学习领域种类繁多的概率模型做进行梳理和总结，帮助读者掌握这些算法的原理，培养用概率论作为工具对实际问题进行建模的思维。要顺利地阅读本文，需要具备概率论，信息论，随机过程的基础知识。
自动编码器是重建输入的绝佳工具。简单来说，机器就是一个图像，可以生成一个密切相关的图片。这种神经网络中的输入是未标记的，这意味着网络能够在没有监督的情况下进行学习。更准确地说，输入由网络编码，仅关注最关键的特征。这是自动编码器因降维而流行的原因之一。此外，自动编码器可用于生成生成学习模型。例如，神经网络可以用一组面部训练，然后可以产生新的面部。
随着时间的推移，用于生成的深度学习模型的使用正变得越来越流行。这些类型的模型被称为生成算法，在研究一个参考群体后被用于在各个领域生成新的和不可见的样本。这些技术最著名的应用是在计算机视觉领域，各种应用程序可以生成以前不存在的图像。
两兄弟 N.Coder 和 D.Coder 经营着一家艺术画廊。一周末，他们举办了一场特别奇怪的展览，因为它只有一面墙，没有实体艺术品。当他们收到一幅新画时，N.Coder 在墙上选择一个点作为标记来代表这幅画，然后扔掉原来的艺术品。当顾客要求观看这幅画时，D.Coder 尝试仅使用墙上相关标记的坐标来重新创作这件艺术品。
本文是机器学习算法地图的下篇，系统地整理了深度学习算法，整张图的设计风格与机器学习算法地图保持一致。从去年底就开始酝酿深度学习算法地图，然而工程浩大。这张图是SIGAI算法工程师集体智慧的结晶，也是在研发SIGAI核心产品-简单易用的机器学习框架过程中的副产品。由于深度学习的算法变种太多，而且处于高速发展期，因此难免会有疏漏，后续版本将不断完善与优化。
变分自动编码器（Variational autoEncoder，VAE）是生成模型的一种。这些方法的主要目标是从对象的学习分布中生成新的采样数据。2014 年，Kingma et al. [3]提出了这种生成模型，该模型可以从隐变量空间的概率分布中学习潜在属性并构造新的元素。
目前，神经网络被用于解决许多商业问题，如销售预测、客户研究、数据验证和风险管理。更进一步讲，我们能够使用神经网络进行时间序列预测、数据中的异常检测和自然语言理解。 在这篇文章中，我们将对初学者解释神经
王小新 编译自 Arxiv 量子位 出品 | 公众号 QbitAI 最近，DeepMind公司的Mihaela Rosca、Balaji Lakshminarayanan和David Warde-Farley等人写了一篇题为“一种基于变分方法的自编码生成对抗网络（Variational Approaches for Auto-Encoding Generative Adversarial Networks）”的论文。 这篇文章利用变分推理，提出了一种将自动编码器和生成对抗网络融合起来的方法。 摘要 自动编码
自编码器（autoencoder）是神经网络的一种，经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层 h，可以产生编码（code）表示输入。该网络可以看作由两部分组成：一个由函数 h = f(x) 表示的编码器和一个生成重构的解码器 r = g(h)。我们不应该将自编码器设计成输入到输出完全相等。这通常需要向自编码器强加一些约束，使它只能近似地复制，并只能复制与训练数据相似的输入。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
