AI 科技评论按:喜欢机器学习和人工智能,却发现埋头苦练枯燥乏味还杀时间?这里是,雷锋字幕组编译的 Arxiv Insights 专栏,从技术角度出发,带你轻松深度学习。 原标题: Variation
自动编码器已成为使计算机系统能够更有效地解决数据压缩问题的技术和技巧之一。它们成为减少嘈杂数据的流行解决方案。
变分自动编码器(VAE)可以说是最实用的自动编码器,但是在讨论VAE之前,还必须了解一下用于数据压缩或去噪的传统自动编码器。
【导读】本文是工程师Irhum Shafkat的一篇博文,主要梳理了变分自编码器的相关知识。我们知道,变分自编码器是一种生成模型,在文本生成、图像风格迁移等诸多任务中有显著的效果,那么什么是变分自编码
传统的自动编码器是一种数据的压缩算法 其算法包括编码阶段和解码阶段,且拥有对称的结构。
随着深度学习的发展,自动编码器(Autoencoders)成为了一种重要的无监督学习算法。其中,变分自动编码器(Variational Autoencoders,VAEs)作为一种特殊类型的自动编码器,在生成模型、数据压缩和特征学习等领域取得了很大的成功。本文将介绍变分自动编码器的原理和应用,并探讨其在深度学习中的重要性。
今天给大家介绍的是ACS central science上一篇分子生成的文章 " Automatic Chemical Design Using a Data-Driven Continuous Representation of Molecules"
王小新 编译自 Arxiv 量子位 出品 | 公众号 QbitAI 最近,DeepMind公司的Mihaela Rosca、Balaji Lakshminarayanan和David Warde-Farley等人写了一篇题为“一种基于变分方法的自编码生成对抗网络(Variational Approaches for Auto-Encoding Generative Adversarial Networks)”的论文。 这篇文章利用变分推理,提出了一种将自动编码器和生成对抗网络融合起来的方法。 摘要 自动编码
自编码器(Autoencoder, AE)是一种数据的压缩算法,其中压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。自编码器通常用于学习高效的编码,在神经网络的形式下,自编码器可以用于降维和特征学习。
选自arXiv 机器之心编译 参与:Panda DeepCoder 是一个好名字,在今年的 ICLR 会议上,剑桥大学和微软就曾提出过一种 DeepCoder,可以组合其它程序代码来生成新程序,参阅机器之心的文章《学界 | 剑桥与微软提交 ICLR 2017 论文提出 DeepCoder:组合其它程序代码生成新程序》。前段时间,又有其他研究者提出了另一种 DeepCoder——一种用于自动面部动作编码的半参数变分自动编码器。机器之心对本文进行了摘要介绍。 论文:DeepCoder:用于自动面部动作编码的半参
AI 科技评论按: 在机器学习研究领域,生成式对抗网络(GAN)在学习生成模型方面占据着统治性的地位,在使用图像数据进行训练的时候,GAN能够生成视觉上以假乱真的图像样本。但是这种灵活的算法也伴随着优化的不稳定性,导致模式崩溃(mode collapse)。将自动编码器(auto-encoder)与GAN相结合,能够使模型更好的表示所有被训练的数据,以阻止模式崩溃。来自Google DeepMind的研究者Mihaela Rosca等人利用生成模型的层级结构,提出了将自动编码器与生成对抗网络相结合的原则,结
AI 科技评论按:本文作者廖星宇,原载于作者知乎专栏,经授权发布。 什么是自动编码器 自动编码器(AutoEncoder)最开始作为一种数据的压缩方法,其特点有: 跟数据相关程度很高,这意味着自动编码器只能压缩与训练数据相似的数据,这个其实比较显然,因为使用神经网络提取的特征一般是高度相关于原始的训练集,使用人脸训练出来的自动编码器在压缩自然界动物的图片是表现就会比较差,因为它只学习到了人脸的特征,而没有能够学习到自然界图片的特征; 压缩后数据是有损的,这是因为在降维的过程中不可避免的要丢失掉信息; 到
本文探讨了使用一个变分自动编码器来降低使用Keras和Python的金融时间序列的维度。我们将进一步检测不同市场中的金融工具之间的相似性,并将使用获得的结果构建一个自定义指数。
选自arXiv 作者:Ilya Tolstikhin等 机器之心编译 参与:白悦、许迪 变分自编码器(VAE)与生成对抗网络(GAN)是复杂分布上无监督学习主流的两类方法。近日,谷歌大脑 Ilya Tolstikhin 等人提出了又一种新思路:Wasserstein 自编码器,其不仅具有 VAE 的一些优点,更结合了 GAN 结构的特性,可以实现更好的性能。该研究的论文《Wasserstein Auto-Encoders》已被即将在 4 月 30 日于温哥华举行的 ICLR 2018 大会接收。 表示学习(
三层网络结构:输入层,编码层(隐藏层),解码层。 训练结束后,网络可由两部分组成:1)输入层和中间层,用这个网络对信号进行压缩;2)中间层和输出层,用这个网络对压缩的信号进行还原。图像匹配就可以分别使用,首先将图片库使用第一部分网络得到降维后的向量,再讲自己的图片降维后与库向量进行匹配,找出向量距离最近的一张或几张图片,直接输出或还原为原图像再匹配。 该网络的目的是重构其输入,使其隐藏层学习到该输入的良好表征。其学习函数为 h(x)≈x h ( x ) ≈ x h(x) \approx x。但如果输入完全等于输出,即 g(f(x))=x g ( f ( x ) ) = x g(f(x)) = x,该网络毫无意义。所以需要向自编码器强加一些约束,使它只能近似地复制。这些约束强制模型考虑输入数据的哪些部分需要被优先复制,因此它往往能学习到数据的有用特性。一般情况下,我们并不关心AE的输出是什么(毕竟与输入基本相等),我们所关注的是encoder,即编码器生成的东西,在训练之后,encoded可以认为已经承载了输入的主要内容。 自动编码器属于神经网络家族,但它们与PCA(主成分分析)紧密相关。尽管自动编码器与PCA很相似,但自动编码器比PCA灵活得多。在编码过程中,自动编码器既能表征线性变换,也能表征非线性变换;而PCA只能执行线性变换。
什么是自动编码器 自动编码器(AutoEncoder)最开始作为一种数据的压缩方法,其特点有: 1、跟数据相关程度很高,这意味着自动编码器只能压缩与训练数据相似的数据,这个其实比较显然,因为使用神经网络提取的特征一般是高度相关于原始的训练集,使用人脸训练出来的自动编码器在压缩自然界动物的图片是表现就会比较差,因为它只学习到了人脸的特征,而没有能够学习到自然界图片的特征; 2、压缩后数据是有损的,这是因为在降维的过程中不可避免的要丢失掉信息; 到了2012年,人们发现在卷积网络中使用自动编码器做逐层预训练可以
什么是自动编码器 自动编码器(AutoEncoder)最开始作为一种数据的压缩方法,其特点有: 跟数据相关程度很高,这意味着自动编码器只能压缩与训练数据相似的数据,这个其实比较显然,因为使用神经网络提取的特征一般是高度相关于原始的训练集,使用人脸训练出来的自动编码器在压缩自然界动物的图片是表现就会比较差,因为它只学习到了人脸的特征,而没有能够学习到自然界图片的特征; 压缩后数据是有损的,这是因为在降维的过程中不可避免的要丢失掉信息; 到了2012年,人们发现在卷积网络中使用自动编码器做逐层预训练可以训练
生成模型是机器学习中一个有趣的领域,在这个领域中,网络学习数据分布,然后生成新的内容,而不是对数据进行分类。生成建模最常用的两种方法是生成对抗网络(GAN)和可变自编码器(VAE)。在这篇文章中,我将尝试解释可变自动编码器(VAE)背后的原理,以及它是如何生成上述面的数据的。
作者:叶虎 编辑:田旭 引言 自动编码器是一种无监督的神经网络模型,它可以学习到输入数据的隐含特征,这称为编码(coding),同时用学习到的新特征可以重构出原始输入数据,称之为解码(decoding)。从直观上来看,自动编码器可以用于特征降维,类似主成分分析PCA,但是其相比PCA其性能更强,这是由于神经网络模型可以提取更有效的新特征。除了进行特征降维,自动编码器学习到的新特征可以送入有监督学习模型中,所以自动编码器可以起到特征提取器的作用。作为无监督学习模型,自动编码器还可以用于生成与训练样本不同的新数
变分自动编码器(VAE)是一种有方向的图形生成模型,已经取得了很好的效果,是目前生成模型的最先进方法之一。它假设数据是由一些随机过程,涉及一个未被注意的连续随机变量z假设生成的z是先验分布Pθ(z)和条件生成数据分布Pθ(X | z),其中X表示这些数据。z有时被称为数据X的隐藏表示。
简而言之,自动编码器通过接收数据、压缩和编码数据,然后从编码表示中重构数据来进行操作。对模型进行训练,直到损失最小化并且尽可能接近地再现数据。通过这个过程,自动编码器可以学习数据的重要特征。
4月1日愚人节,也是张国荣的忌日。今天,在哥哥张国荣离开的第16个年头,有网友用AI让张国荣“复活”,并且演唱了经典歌曲《千千阙歌》、《玻璃之情》。
这些图像中的所有物体和动物都是由称为生成对抗网络(GAN)的计算机视觉模型生成的! 这是目前最流行的深度学习分支之一。 这当然有助于激发我们隐藏的创造力!
在本文中,我们提出了一个结合了RNN和SGVB优势的模型:变分自动编码器(VRAE)。 这种模型可用于对时间序列数据进行有效的大规模无监督学习,将时间序列数据映射到潜在向量表示。 该模型是生成模型,因此可以从隐藏空间的样本生成数据。 这项工作的一个重要贡献是该模型可以利用未标记的数据,以便通过初始化权重和网络状态来促进对RNN的监督训练。
今天给大家介绍莫纳什大学Shirui Pan等人在 IEEE Transactions on Cybernetics上发表的文章“Learning Graph Embedding With Adversarial Training Methods ”。图嵌入的目的是将图转换成向量,以便于后续的图分析任务,如链接预测和图聚类。但是大多数的图嵌入方法忽略了潜码的嵌入分布,这可能导致在许多情况下较差的图表示。本文提出了一个新的对抗正则化图嵌入框架,通过使用图卷积网络作为编码器,将拓扑信息和节点内容嵌入到向量表示中,从向量表示中进一步构建图解码器来重构输入图。对抗训练原则被应用于强制潜码匹配先验高斯分布或均匀分布。实验结果表明可以有效地学习图的嵌入。
机器学习中体现着各种工程和科学上的哲学思想,大的有集成学习,没有免费午餐,奥卡姆剃刀;小的有最大化类间差异、最小化类内差异。对于很多问题,存在着一类通行的解决思路,其中的一个典型代表就是“编码器-解码器”结构。这一看似简单的结构,背后蕴含的工程思想却非常值得我们学习和品味。
想象一下:你的朋友几周来一直在唠叨你听一首歌,尽管你已经告诉他你不喜欢 Ed Sheeran。 他们继续纠缠你,声称“旋律是伟大的”。 如果只有你能听到文明形式的那种旋律,就像巴赫管风琴协奏曲那样。
自动编码器讲述的是对于一副输入的图像,或者是其他的信号,经过一系列操作,比如卷积,或者linear变换,变换得到一个向量,这个向量就叫做对这个图像的编码,这个过程就叫做encoder,对于一个特定的编码,经过一系列反卷积或者是线性变换,得到一副图像,这个过程叫做decoder,即解码。
今天的文章用深入浅出的语言和形式为大家介绍变分自动编码器(VAE)的基本原理,以帮助初学者入门,真正理解这一较为晦涩的模型。还是那种熟悉的风格和味道!读懂本文需要读者理解KL散度包括正态分布之间的KL散度计算公式、KL散度的非负性(涉及到变分法的基本概念),蒙特卡洛算法等基本知识,自动编码的知识。
人工智能(AI)近年来迅猛发展,已经成为推动科技进步的重要力量。其中,生成式人工智能(Generative AI)作为AI领域的重要分支,以其强大的生成和创造能力,吸引了广泛关注。本文将深入探讨生成式人工智能的定义、核心技术、应用领域以及面临的挑战,我们一起全面了解这一前沿技术。
https://www.groundai.com/project/cramer-wold-autoencoder/ Cramer-Wold自动编码器 J. Tabor,S. Knop,P. Spurek,I. Podolak,M. Mazur,S.JastrzębskiJagiellonian 大学数学与计算机科学 系,Lojasiewicza 6,30-348 Cracow,波兰。 jacek.tabor@uj.edu.pl 作者简介 ArXiV页面2018年5月23日提交 37
2021年9月17日,中科院上海药物所的蒋华良和郑明月以及华为健康智能实验室的乔楠等人在Journal of Medicinal Chemistry杂志发表文章,对用于从头药物设计的多个生成模型进行了总结和分析。
大数据文摘作品 编译:田奥leo、桑桑、璐、Aileen 27种?!神经网络竟有那么多种?这篇文章将逐一介绍下面这张图片中的27种神经网络类型,并尝试解释如何使用它们。准备好了吗?让我们开始吧! 神经网络的种类越来越多,可以说是在呈指数级地增长。我们需要一个一目了然的图表,在这些新出现的网络构架和方法之间进行导航。 幸运的是,来自Asimov研究所的Fjodor van Veen编写了一个关于神经网络的精彩图表(就是上面那张大图)。 下面,我们就来逐一看看图中的27种神经网络: Perceptron 感知
目前深度学习中的神经网络种类繁多,用途各异。由于这个分支在指数增长,跟踪神经网络的不同拓扑有助于更深刻的理解。本文将展示神经网络中最常用的拓扑结构,并简要介绍其应用。
随着深度学习的快速发展,人们创建了一整套神经网络结构来解决各种各样的任务和问题。尽管有无数的神经网络结构,这里有十一种对于任何深度学习工程师来说都应该理解的结构,可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。
2022年6月20日,伊利诺伊大学芝加哥分校化学系的Huan-Xiang Zhou等人在Commun Biol发表文章,提出了旨在挖掘IDPs构象空间的生成性自动编码器。这项工作说明了人工智能在IDPs构象挖掘中的巨大潜力。
在本辅导课中,我会讨论许多流行的深度生成模型的数学基础,包括受限玻尔兹曼机(RBMs)、深度玻尔兹曼机(DBMs)、亥姆霍兹机、变分自动编码器(VAE)和重要性加权自动编码器(IWAE)。我会进一步证明在视觉物体识别,信息检索及自然语言处理应用中,这些模型能从高维度数据中提取出有意义的表征。
随着时间的推移,用于生成的深度学习模型的使用正变得越来越流行。这些类型的模型被称为生成算法,在研究一个参考群体后被用于在各个领域生成新的和不可见的样本。这些技术最著名的应用是在计算机视觉领域,各种应用程序可以生成以前不存在的图像。
目前深度学习中的神经网络种类繁多,用途各异。由于这个分支在指数增长,跟踪神经网络的不同拓扑有助于更深刻的理解。在本文中,我们将展示神经网络中最常用的拓扑结构。
生成模型(Generative Model)这一概念属于概率统计与机器学习,是指一系列用于随机生成可观测预测数据得模型。简而言之,就是 “生成” 的样本和 “真实” 的样本尽可能地相似。生成模型的两个主要功能就是学习一个概率分布 P m o d e l ( X ) P_{model}(X) Pmodel(X)和生成数据,这是非常重要的,不仅可以用在无监督学习中,还可以用在监督学习中。
图(Graph)是不规则数据/非欧几里得数据(例如 3D 点云、社交网络、引文网络、脑网络等)的一种自然而有效的表征。由于图的强大表现力,图数据的机器学习越来越受到重视,如近年来提出的图卷积神经网络(Graph Convolutional Neural Network, GCNN)。不过,现有的 GCNN 模型大多以监督或半监督的方式进行训练,这需要大量的标记样本才能学习到有效的特征表示。由于标记成本较高(特别是在大规模的图上),现有方法难以进行广泛应用。因此,我们需要以无监督的方式来学习图特征表示,以便适应更多图的学习任务。
今天给大家介绍一篇最近发表在Journal of Chemical Information and Modeling 上的文章。在文章中,作者通过分子图条件变分自动编码器(MGCVAE)来生成具有指定特性的分子,并进行了多目标优化,以同时满足两个目标特性。
想象一下:你的朋友为了听一首歌纠缠了你好几个星期,即使你告诉他们你不喜欢艾德·希兰(Ed Sheeran),神烦!他们一直纠缠你,声称“旋律使它伟大”。要是你能换一种形式来听这种旋律就好了,比如巴赫的管风琴协奏曲那样。
Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).
【导读】近日,深度学习爱好者Prakash Pandey发布一篇博文介绍深度生成模型。我们知道,有监督学习在很多方面都达到了很好的效果,但是,由于有监督学习由于数据集太少等缺点,研究者逐渐偏向于探索无
麻省理工学院的三位材料科学家及其同事发表的论文中,描述其 AI系统可通过科学论文和提取“食谱”合成特定类型的材料。 2017年11月,美国麻省理工学院的三位材料科学家及其同事发表论文,描述了一种新的人工智能系统,可钻研科学论文并提取“配方”,合成特定类型的材料。 这一工作被看做向为仅理论描述的材料生成配方的系统迈出的第一步。现在,在《计算材料学》(Computational Materials)期刊发表的一篇论文中,这三位材料科学家联合麻省理工学院电机工程与计算机科学系(EECS)的一位同事将这项工作继续往
从隐图像空间进行采样以创建全新的图像或编辑现有图像是目前创作AI最受欢迎和最成功的应用方式。
AI 科技评论按:神经信息处理系统大会(NeurIPS)是人工智能领域最知名的学术会议之一,NeurIPS 2018 (https://nips.cc/Conferences/2018)已于去年 12 月 3 日至 8 日在加拿大蒙特利尔市举办。来自 Zighra.com 的首席数据科学家在参加完此次会议之后,撰写了一篇关于贝叶斯研究的参会总结,AI 科技评论编译整理如下。 此次会议支持现场直播,所有讲座的视频内容均可以在 NeurIPS 的 Facebook 主页上找到,除此之外,NeurIPS 主页上还
最近,AI方案设计师Alexandor Honchar在Medium网站上分享一篇文章。他认为生成对抗网络(GAN)目前在生成图像取得了巨大进展,生成的图像几乎能够以假乱真,并且在4年间,面部图像的生成也越来越精细。
选自CodeBurst 机器之心编译 参与:Panda 很显然,深度学习即将对我们的社会产生重大显著的影响。Mobibit 创始人兼 CEO Pramod Chandrayan 近日在 codebur
领取专属 10元无门槛券
手把手带您无忧上云