作者：inFERENce 翻译：余志文 去年我一直在研究如何更好地调整GANs中的不足，但因为之前的研究方向只关注了损失函数，完全忽略了如何寻找极小值问题。直到我看到了这篇论文才有所改变： 详解论文: The Numerics of GANs 我参考了Mar的三层分析，并在计算层面上仔细考虑了这个问题：我们这样做的最终目标是什么？我相信GANs在这个层面已经有所突破了，因为他们试图优化错误的东西或寻求不存在的平衡等。这就是为什么我喜欢f-GANs、Wasserstein GANs、实例噪声，而不大喜欢在优化
传统的自动编码器是一种数据的压缩算法 其算法包括编码阶段和解码阶段，且拥有对称的结构。
上文讲述了机器学习的功能和神经网络的概念，以及简要介绍了感知器和卷积神经网络，接下来继续介绍另外6种神经网络架构。
接上一篇Deep learning (1) -- 概述、分布式表示与思想 九、Deep Learning的常用模型或者方法 9.1、AutoEncoder自动编码器 具体过程简单的说明如下： 1
在计算机科学中，人工神经网络由成千上万个以特定方式连接的节点组成。节点通常分层排列; 它们的连接方式决定了网络的类型，最终决定了网络在另一网络上执行特定计算任务的能力。传统的神经网络可能看起来像这样：
原作：inFERENCe 安妮 编译自 inference.vc 量子位 出品 | 公众号 QbitAI 昨天，NIPS大会中“Test of Time”最具时间价值大奖的获得者Ali Rahimi（阿里·拉希米）在演讲时表示，机器学习已经成为了炼金术。此话一出，就引发了大量讨论。 在Reddit上这个话题同样火爆，剑桥大学博士Ferenc Huszár在他的博客inFERENCe阐述了自己的观点，获得了很多人的支持。 他到底说了什么？他怎么看？ 像大家一样，我很欣赏阿里在NIPS上的演讲，并且推荐所有人都
导读：昨天我们为大家带来了大牛Zouxy学习深度学习的笔记的上篇。今天我们继续为大家带来教程的下篇，让我们看看这位大牛在深度学习领域还有什么独到的理解~ |六、浅层学习（Shallow Learning）和深度学习（Deep Learning） 浅层学习是机器学习的第一次浪潮。 20世纪80年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工
现在，DeepMind通过教自动编码器学会“自我纠正”，提出了一个叫做“圣代”（SUNDAE）的非自回归模型。
三层网络结构：输入层，编码层（隐藏层），解码层。 训练结束后，网络可由两部分组成：1）输入层和中间层，用这个网络对信号进行压缩；2）中间层和输出层，用这个网络对压缩的信号进行还原。图像匹配就可以分别使用，首先将图片库使用第一部分网络得到降维后的向量，再讲自己的图片降维后与库向量进行匹配，找出向量距离最近的一张或几张图片，直接输出或还原为原图像再匹配。 该网络的目的是重构其输入，使其隐藏层学习到该输入的良好表征。其学习函数为 h(x)≈x h ( x ) ≈ x h(x) \approx x。但如果输入完全等于输出，即 g(f(x))=x g ( f ( x ) ) = x g(f(x)) = x，该网络毫无意义。所以需要向自编码器强加一些约束，使它只能近似地复制。这些约束强制模型考虑输入数据的哪些部分需要被优先复制，因此它往往能学习到数据的有用特性。一般情况下，我们并不关心AE的输出是什么（毕竟与输入基本相等），我们所关注的是encoder，即编码器生成的东西，在训练之后，encoded可以认为已经承载了输入的主要内容。 自动编码器属于神经网络家族，但它们与PCA（主成分分析）紧密相关。尽管自动编码器与PCA很相似，但自动编码器比PCA灵活得多。在编码过程中，自动编码器既能表征线性变换，也能表征非线性变换；而PCA只能执行线性变换。
近年来，与肺部疾病相关的发病率和死亡率居高不下。胸部 X 光片（CXR）是一种广为接受的低剂量肺部筛查技术。然而，即使是技术娴熟的临床医生也可能会忽略肺部并不突出的病变，这主要是由于 CXR 中 75% 的肺部区域与骨骼重叠，从而阻碍了疾病的发现和诊断。为了提高临床诊断的准确性，人们引入了一种称为骨抑制的方法。目前最受推崇的方法是双能量减影（DES）成像技术。然而，这种技术需要昂贵的设备，并使患者暴露于较高的辐射剂量。因此，研究人员正在努力寻找危害较小、成本效益较高的骨抑制技术。
2022年6月20日，伊利诺伊大学芝加哥分校化学系的Huan-Xiang Zhou等人在Commun Biol发表文章，提出了旨在挖掘IDPs构象空间的生成性自动编码器。这项工作说明了人工智能在IDPs构象挖掘中的巨大潜力。
自动编码器（Autoencoders）是一种无监督学习算法，在深度学习领域中被广泛应用。它可以通过将输入数据进行编码和解码来重构数据，从而学习数据的低维表示。自动编码器可以用于特征提取、降维和数据重建等任务，在图像处理、文本处理和推荐系统等领域都有广泛的应用。
A Review of Change of Variable Formulas for Generative Modeling
前两天，OpenAI的一群员工刚刚联名发表公开信，表示自主的AI系统正在失控，呼吁公众提高警惕。
深度学习的模型方法及应用 上一次我发了关于深度学习基本理论与方法的文章，大家反响还不错，今天继续 上次的知识，对深度学习再做一些基础性的理论介绍，希望大家多多指教。 深度学习的具体模型及方法 1、自动编码器（AutoEncoder ） 2、稀疏自动编码器(Sparse AutoEncoder) 3、限制波尔兹曼机（Restricted Boltzmann Machine） 4、深信度网络（Deep Belief Networks） 5、卷积神经网络（Convolutional Neural Networks
绪论 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。 深度学习是机器学习研究中的一个新的领域，其动机在于
在本文中，我们研究了跟踪可能非常复杂背景的视频中运动物体轨迹的挑战性问题。与大多数仅在线学习跟踪对象外观的现有跟踪器相比，我们采用不同的方法，受深度学习架构的最新进展的启发，更加强调（无监督）特征学习问题。具体来说，通过使用辅助自然图像，我们离线训练堆叠去噪自动编码器，以学习对变化更加鲁棒的通用图像特征。然后是从离线培训到在线跟踪过程的知识转移。在线跟踪涉及分类神经网络，该分类神经网络由训练的自动编码器的编码器部分构成，作为特征提取器和附加分类层。可以进一步调整特征提取器和分类器以适应移动物体的外观变化。与一些具有挑战性的基准视频序列的最先进的跟踪器进行比较表明，当我们的跟踪器的MATLAB实现与适度的图形处理一起使用时，我们的深度学习跟踪器更准确，同时保持低计算成本和实时性能单位（GPU）。
在过去的几年里，深度学习方法在几个领域的表现都超过了以往的机器学习技术，其中最突出的一个例子就是计算机视觉。这篇综述文章简要介绍了计算机视觉问题中最重要的一些深度学习方案，即卷积神经网络、深度玻尔兹曼机和深度信念网络，以及叠加去噪自编码器。简要介绍了它们的历史、结构、优点和局限性，然后介绍了它们在各种计算机视觉任务中的应用，如对象检测、人脸识别、动作和活动识别以及人体姿态估计。最后，简要介绍了未来计算机视觉问题深度学习方案的设计方向和面临的挑战。
自动编码器是重建输入的绝佳工具。简单来说，机器就是一个图像，可以生成一个密切相关的图片。这种神经网络中的输入是未标记的，这意味着网络能够在没有监督的情况下进行学习。更准确地说，输入由网络编码，仅关注最关键的特征。这是自动编码器因降维而流行的原因之一。此外，自动编码器可用于生成生成学习模型。例如，神经网络可以用一组面部训练，然后可以产生新的面部。
选自Medium 作者：James Le 机器之心编译 参与：白悦、黄小天 本文简述了机器学习核心结构的历史发展，并总结了研究者需要熟知的 8 个神经网络架构。 我们为什么需要「机器学习」？ 机器学习对于那些我们直接编程太过复杂的任务来说是必需的。有些任务很复杂，以至于人类不可能解决任务中所有的细节并精确地编程。所以，我们向机器学习算法提供大量的数据，让算法通过探索数据并找到一个可以实现程序员目的的模型来解决这个问题。 我们来看两个例子： 写一个程序去识别复杂场景中照明条件下新视角的三维物体是很困难的。我们
生成模型（Generative Model）这一概念属于概率统计与机器学习，是指一系列用于随机生成可观测预测数据得模型。简而言之，就是 “生成” 的样本和 “真实” 的样本尽可能地相似。生成模型的两个主要功能就是学习一个概率分布 P m o d e l ( X ) P_{model}(X) Pmodel(X)和生成数据，这是非常重要的，不仅可以用在无监督学习中，还可以用在监督学习中。
自编码器（Autoencoder, AE）是一种数据的压缩算法，其中压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。自编码器通常用于学习高效的编码，在神经网络的形式下，自编码器可以用于降维和特征学习。
自动编码器已成为使计算机系统能够更有效地解决数据压缩问题的技术和技巧之一。它们成为减少嘈杂数据的流行解决方案。
【新智元导读】Facebook AI 实验室负责人Yann LeCun 在 CVPR2015 演讲，提到了深度学习在计算机视觉领域的应用及局限，比如缺乏理论、缺少论证、缺乏无监督学习，当然也提到了基于
简而言之，自动编码器通过接收数据、压缩和编码数据，然后从编码表示中重构数据来进行操作。对模型进行训练，直到损失最小化并且尽可能接近地再现数据。通过这个过程，自动编码器可以学习数据的重要特征。
一、为什么需要机器学习？ 有些任务直接编码较为复杂，我们不能处理所有的细微之处和简单编码，因此，机器学习很有必要。相反，我们向机器学习算法提供大量数据，让算法不断探索数据并构建模型来解决问题。比如：在新的杂乱照明场景内，从新的角度识别三维物体；编写一个计算信用卡交易诈骗概率的程序。 机器学习方法如下：它没有为每个特定的任务编写相应的程序，而是收集大量事例，为给定输入指定正确输出。算法利用这些事例产生程序。该程序与手写程序不同，可能包含数百万的数据量，也适用于新事例以及训练过的数据。若数据改变，程序在新数据上
【新智元导读】LeCun对对抗生成网络（GAN）的盛赞大家都很熟悉了。在这篇新的论文中，LeCun等人将两类无监督学习方法——GAN和自编码器结合在一起，并从替代能源的角度重新审视GAN的框架。 Le
图灵奖得主Geoffrey Hinton在2017年提出了这种全新的深度学习方法，以期挑战CNN“天命之子”的地位。
AI 科技评论按：喜欢机器学习和人工智能，却发现埋头苦练枯燥乏味还杀时间？这里是，雷锋字幕组编译的 Arxiv Insights 专栏，从技术角度出发，带你轻松深度学习。 原标题： Variation
随着深度学习的发展，自动编码器（Autoencoders）成为了一种重要的无监督学习算法。其中，变分自动编码器（Variational Autoencoders，VAEs）作为一种特殊类型的自动编码器，在生成模型、数据压缩和特征学习等领域取得了很大的成功。本文将介绍变分自动编码器的原理和应用，并探讨其在深度学习中的重要性。
【新智元导读】YannLecun曾赞誉GAN为“近十年来机器学习领域最有趣的想法”，一经提出便受万众瞩目。伴随着研究的逐步深入，GAN已然衍生出了多种多样的形态。Crazymuse AI近期在Youtube中推出一个视频，介绍了十大GAN背后的数学原理。本文便带领读者盘点一下这些各具特色的GAN。
自编码器（autoencoder）是神经网络的一种，经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层 h，可以产生编码（code）表示输入。该网络可以看作由两部分组成：一个由函数 h = f(x) 表示的编码器和一个生成重构的解码器 r = g(h)。我们不应该将自编码器设计成输入到输出完全相等。这通常需要向自编码器强加一些约束，使它只能近似地复制，并只能复制与训练数据相似的输入。
有些同学在刚开始看论文的时候，经常会遇到编码器、解码器、自编码器（AutoEncoder）这些字眼，它们到底是干什么的呢？其主要作用又是什么呢？那么本篇主要带大家了解自编码器(AutoEncoder)。
今年是Transformer的六周年生日，目前原文引用量已超四万，在应用方面，几乎所有的模型架构都有它的影子，并遵从着Transformer的基础配置（宽度设置为768，深度设置为12）。但您有没有质疑过：Transformer的配置是怎么来的？Transformer的配置能够适合所有的应用场景吗？难道就不能改变吗？今天给大家分享的这篇国际顶会(ICML 2023)文章给出了答案。
识别空间域（即在基因表达和组织学上具有空间相关性的区域）是空间转录组学中最重要的课题之一。近日，《Nucleic Acids Research》发表了一个准确且通用的深度学习框架：DeepST，用于识别空间域。
选自arXiv 机器之心编译 参与：李泽南 对于现实世界物体的 3D 建模是很多工作中都会出现的任务。目前流行的方法通常需要对于目标物体进行多角度测量，这种方法耗费资源且准确度低下。近日，来自牛津大学等院校的研究者们提出了一种基于自编码器与 GAN 的机器学习 3D 建模方式 3D-RecGAN，可以在只需要一张图片的情况下准确构建物体的 3D 结构。该研究的论文即将出现在 10 月底于威尼斯举行的 ICCV 2017 大会上。 重建物体完整与准确的 3D 模型是很多工作中必不可少的任务，从 AR/VR 应
自动编码器（Autoencoder）是一种无监督学习的神经网络模型，用于数据的降维和特征学习。它由编码器和解码器两个部分组成，通过将输入数据编码为低维表示，再从低维表示解码为原始数据来学习数据的特征表示。本教程将详细介绍如何使用Python和PyTorch库实现一个简单的自动编码器，并展示其在图像数据上的应用。
生成模型是机器学习中一个有趣的领域，在这个领域中，网络学习数据分布，然后生成新的内容，而不是对数据进行分类。生成建模最常用的两种方法是生成对抗网络(GAN)和可变自编码器(VAE)。在这篇文章中，我将尝试解释可变自动编码器(VAE)背后的原理，以及它是如何生成上述面的数据的。
Yann LeCun：纽约大学终身教授，Facebook人工智能实验室负责人。 Yoshua Bengio：加拿大蒙特利尔大学教授，深度学习大神。 “Deep learning is not a co
Lifting Architectural Constraints of Injective Flows v4 2024.04
深度学习，即Deep Learning,是一种学习算法（Learning algorithm）,亦是人工智能领域的一个重要分支。从快速发展到实际应用，短短几年时间里，深度学习颠覆了语音识别、图像分类、文本理解等众多领域的算法设计思路，渐渐形成了一种从训练数据出发，经过一个端到端（end-to-end）的模型，然后直接输出得到最终结果的一种新模式。那么，深度学习有多深？学了究竟有几分？本文将带你领略深度学习高端范儿背后的方法与过程。
原标题 | Extreme Event Forecasting with LSTM Autoencoders
选自CodeBurst 机器之心编译 参与：Panda 很显然，深度学习即将对我们的社会产生重大显著的影响。Mobibit 创始人兼 CEO Pramod Chandrayan 近日在 codebur
你还记得胶卷相机的时代吗？冲洗照片是一个神秘的过程，只有摄影师和专业人士才能够驾轻就熟。大多数人的印象中只有弥漫着昏暗红光的暗室。简而言之，冲洗照片是一个耗时的过程。
机器学习中体现着各种工程和科学上的哲学思想，大的有集成学习，没有免费午餐，奥卡姆剃刀；小的有最大化类间差异、最小化类内差异。对于很多问题，存在着一类通行的解决思路，其中的一个典型代表就是“编码器-解码器”结构。这一看似简单的结构，背后蕴含的工程思想却非常值得我们学习和品味。
AI 科技评论按：本文作者廖星宇，原载于作者知乎专栏，经授权发布。 什么是自动编码器 自动编码器(AutoEncoder)最开始作为一种数据的压缩方法，其特点有: 跟数据相关程度很高，这意味着自动编码器只能压缩与训练数据相似的数据，这个其实比较显然，因为使用神经网络提取的特征一般是高度相关于原始的训练集，使用人脸训练出来的自动编码器在压缩自然界动物的图片是表现就会比较差，因为它只学习到了人脸的特征，而没有能够学习到自然界图片的特征； 压缩后数据是有损的，这是因为在降维的过程中不可避免的要丢失掉信息； 到
今天给大家介绍的是ACS central science上一篇分子生成的文章 " Automatic Chemical Design Using a Data-Driven Continuous Representation of Molecules"
在日常工作中，深度学习正在被积极地使用。与其他机器学习算法不同的是，深度网络最有用的特性是，随着它获得更多的数据，它们的性能就会有所提高。因此，如果能够获得更多的数据，则可以预见到性能的提高。 深度网络的优势之一就是机器翻译，甚至谷歌翻译现在也在使用它们。在机器翻译中，需要句子水平的并行数据来训练模型，也就是说，对于源语言中的每句话，都需要在目标语言中使用翻译的语言。不难想象为什么会出现这样的问题。因为我们很难获得大量的数据来进行一些语言的配对。 本文是如何构建的？ 这篇文章是基于“只使用语料库来进行无监督
在 GOAT（https://www.goat.com/），我们为买家和卖家创造了一个最大的运动鞋安全交易市场。帮助人们表达他们个人的风格和定位的运动鞋世界是 GOAT 的数据团队的主要动力。数据团队构建一系列工具和服务，利用数据科学和机器学习，尽可能减少该社区可能出现的问题。
向AI转型的程序员都关注了这个号☝☝☝ 翻译 | AI科技大本营（rgznai100） 参与 | 周翔、reason_W成龙，Shawn 今年 2 月，南京大学的周志华教授和他的学生 Ji Feng
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
