对于我们研究的大部分物理化学问题来说，由于原子核的质量比电子大很多，忽略它们之间的耦合（波恩-奥本海默近似），用量子化学的方法处理分子体系中的电子结构部分，用经典力学处理其中的原子核部分已经能得到较好的结果。然而在一些特殊情况下原子核的量子效应的贡献不能忽略，例如含有轻原子（如H）的体系、温度较低的情形或者涉及到多电子态的非绝热过程，此时需要使用量子力学的手段研究分子体系的统计或动力学性质。
在本系列的2，3，4季中，我们分别介绍了神经网络的生物学背景，最早的关于神经元的数学模型，以及具有学习功能的感知机。我们现在已经知道，如何学习神经网络的参数是最为关键的问题，这个问题从宏观上看实际上跟求解2的平方根并没有本质不同，即需要一个迭代过程(梯度下降)不断更新模型的参数。在一个著名的Adaline模型(第4季)的基础上，我们首次看到了激活函数、代价函数，梯度(导数)这些概念在求解模型参数中的核心作用，梯度下降法首次被运用到神经元模型中。接下来的第5季则专门介绍了导数的概念以及求解方法。逆向求导由于其极高的性能，看起来极具吸引力。从现在的眼光来看，在上个世纪80年代的时候，所有的基础几乎已经准备妥当，只是在等一个适当的机会，一些零星的在当时并不那么惹眼的研究，逐渐将神经网络以一种更加高大上外表包裹起来，深度学习开始了它的统治时代。本主要介绍从神经网络到深度学习发展过程中的几个重要的模型及其人物的简单历史，希望能帮助大家宏观上了解深度学习发展的基本脉络。
【新智元导读】作者从薛定谔的“滚”讲到世界的量子性、神经网络的最大似然等等，用颇具趣味的方式呈现了深度学习中无处不在的物理本质。 最近朋友圈里有大神分享薛定谔的滚，一下子火了，“当一个妹子叫你滚的时候，你永远不知道她是在叫你滚还是叫你过来抱紧”，这确实是一种十分纠结的状态，而薛定谔是搞不清楚的，他连自己的猫是怎么回事还没有弄清楚。虽然人们对于薛定谔头脑中那只被放射性物质残害的猫的生死一直众说纷纭，斯特恩·盖拉赫却在实验中，实实在在看到了，我们身处的这个物理世界的量子性，也就是既生又死、既真又假、既梦又醒、既
翻译 | AI科技大本营 参与 | 林椿眄 编辑 | Donna 为什么我们需要机器学习？ 机器学习可以解决人类不能直接用编程来应对的复杂难题，因此，我们喂给机器学习算法大量的数据，以期得到想要的答案。 我们来看看这两个例子： 编写解决问题的程序是非常困难的，比如在杂乱的场景中，在新的照明条件下从新的角度来识别三维物体。我们不知道要如何通过代码来解决这个问题，因为这个识别过程在大脑中完成情况对我们来说还是未解之谜。 即使我们知道该怎么做，要编写的程序可能会非常复杂。 再比如，编写一个程序来预测信用卡交易
2006年，研究者对深度神经网络的兴趣再度复兴，而这主要归功于Hinton等人发现的高效新方法。借助深度信念网络（Deep Belief Nets, DBN），当时研究者可以在未标注数据上预训练深度神经网络，这是一种生成模型的方式。预训练完成后，神经网络可以在标注数据上实现判别式的精调，从而获得很好的效果。 这就是最初深度网络的训练方法，也是令深度学习进入ML社区的开创性新研究。尽管目前训练深度神经网络不再需要这种预训练，但它的思想及做法仍深深影响着当前的研究者。 刚刚，Geoffrey Hinton受邀远程为北大学子做了一场分享，深入介绍了深度信念网络的理论知识。
上文讲述了机器学习的功能和神经网络的概念，以及简要介绍了感知器和卷积神经网络，接下来继续介绍另外6种神经网络架构。
关注AI君，领略人工智能之美 受限玻尔兹曼机 Restricted Bolltzmann Machine 概述 各位读者，新年好！ 在《技术词条》系列文章的上一篇中，AI君讲了一个监督式学习的算法LDA，这篇文章AI君就来讲一个非监督式学习的经典算法——受限玻尔兹曼机，英文全称Restricted Boltzmann Machine, 简称RBM。 受限玻尔兹曼机(RBM)能学习并发现数据的复杂规则分布，将多个RBM堆叠就构成了深度置信网络(deep belief network, DBN)，从而可以从更加
本次课将首先介绍生成模型的概念以及适用场景。进一步讲解基于能量的模型，包括受限玻尔兹曼机（RBM）和深度玻尔兹曼机等。它们既是早期的神经网络模型，也是经典的生成模型。接着介绍目前常见的深度生成模型，包括自编码器和变分自编码器。最后，介绍生成对抗网络（GAN）及其变种。
地址:http://www.cnblogs.com/pinard/p/6530523.html
机器学习已经在各个行业得到了大规模的广泛应用，并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用： 模式识别：实际场景中的目标、包括人脸、表情、语音识别等等； 异常检测：例如信用卡交易的异常检测、传感器异常数据模式检测和异常行为检测等； 预测问题：预测股票或者汇率、或者预测消费者喜欢的电影、音乐等。 神经网络是一类机器学习算法和模型的统称，也是目前机器学习发展最快的一个领域。神经网络的架构主要分为三大类——前馈、循环和对称链接网络。神经网络具有如下三个特征使它成为了机器
中长文预警！文末附赠大量资源！切勿错过！ 机器学习已经在各个行业得到了大规模的广泛应用，并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用： 模式识别：实际场景中的目标、包括人脸、表情、语音识别等等； 异常检测：例如信用卡交易的异常检测、传感器异常数据模式检测和异常行为检测等； 预测问题：预测股票或者汇率、或者预测消费者喜欢的电影、音乐等。 神经网络是一类机器学习算法和模型的统称，也是目前机器学习发展最快的一个领域。神经网络的架构主要分为三大类——前馈、循环和对称链接网络。
在过去的几年里，深度学习方法在几个领域的表现都超过了以往的机器学习技术，其中最突出的一个例子就是计算机视觉。这篇综述文章简要介绍了计算机视觉问题中最重要的一些深度学习方案，即卷积神经网络、深度玻尔兹曼机和深度信念网络，以及叠加去噪自编码器。简要介绍了它们的历史、结构、优点和局限性，然后介绍了它们在各种计算机视觉任务中的应用，如对象检测、人脸识别、动作和活动识别以及人体姿态估计。最后，简要介绍了未来计算机视觉问题深度学习方案的设计方向和面临的挑战。
机器学习已经在各个行业得到了大规模的广泛应用，并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用： 模式识别：实际场景中的目标、包括人脸、表情、语音识别等等； 异常检测：例如信用卡交易的异常检测、传感器异常数据模式检测和异常行为检测等； 预测问题：预测股票或者汇率、或者预测消费者喜欢的电影、音乐等。 神经网络是一类机器学习算法和模型的统称，也是目前机器学习发展最快的一个领域。神经网络的架构主要分为三大类——前馈、循环和对称链接网络。神经网络具有如下三个特征使它成为了机器学习中
机器学习已经在各个行业得到了大规模的广泛应用，并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用： 模式识别：实际场景中的目标、包括人脸、表情、语音识别等等； 异常检测：例如信用卡交易的异常检测、传感器异常数据模式检测和异常行为检测等； 预测问题：预测股票或者汇率、或者预测消费者喜欢的电影、音乐等。 神经网络是一类机器学习算法和模型的统称，也是目前机器学习发展最快的一个领域。神经网络的架构主要分为三大类——前馈、循环和对称链接网络。神经网络具有如下三个特征使它成为了机器学习
Paritosh 是 Wolfram 的核心开发人员，利用业余时间使用 Mathematica 来研究并模拟流体动力学问题，开发了WindTunnel2DLBM 程序包(https://blog.wolfram.com/data/uploads/2019/10/WindTunnel2DLBM.zip) 。LBM 与 IBM 的结合使用，对研究和分析流体流动是一个很好的工具。借助 Mathematica 的内置函数，实现数字风洞的组装变得非常简单。
自2014年Ian Goodfellow提出生成对抗网络(GAN)的概念后,生成对抗网络变成为了学术界的一个火热的研究热点,Yann LeCun更是称之为”过去十年间机器学习领域最让人激动的点子”.生成对抗网络的简单介绍如下,训练一个生成器(Generator,简称G),从随机噪声或者潜在变量(Latent Variable)中生成逼真的的样本,同时训练一个鉴别器(Discriminator,简称D)来鉴别真实数据和生成数据,两者同时训练,直到达到一个纳什均衡,生成器生成的数据与真实样本无差别,鉴别器也无法正确的区分生成数据和真实数据.GAN的结构如图1所示.
我们知道很多蒙特卡洛采样方法是来源于物理，比如最有名的哈密顿蒙特卡洛方法(HMC)，就是源自于哈密顿动力学。不过这次我并不打算详细说明哈密顿蒙特卡洛，相关的解读已经很多了。
在未来万亿参数网络只消耗几瓦特的新型硬件上，FF 是最优算法。 作者 | 李梅、黄楠 编辑 | 陈彩娴 过去十年，深度学习取得了惊人的胜利，用大量参数和数据做随机梯度下降的方法已经被证明是有效的。而梯度下降使用的通常是反向传播算法，所以一直以来，大脑是否遵循反向传播、是否有其它方式获得调整连接权重所需的梯度等问题都备受关注。 图灵奖得主、深度学习先驱 Geoffrey Hinton 作为反向传播的提出者之一，在近年来已经多次提出，反向传播并不能解释大脑的运作方式。相反，他正在提出一种新的神经网络学习方法——
大数据文摘作品 翻译：大力、白丁、阮雪妮、Lisa、彭湘伟、Shan LIU、钱天培 物理和机器学习，这两个听起来不相关的领域，居然有着千丝万缕的联系！ 文摘菌第一次听说时也吓了一跳。 而就真有这样一个神奇的模型，将物理和机器学习紧密联系到了一起——它就是伊辛模型。 伊辛模型——一个描述物质磁性的简单模型——会帮助阐释两个领域之间的广泛联系。 今天，文摘菌会先从简单物理直觉谈谈这个模型，然后导出物理学中著名的变分原理，从而严格推出这个模型。 然后我们就会发现，正是这个变分原理打开了机器学习的窗口。我们将玻尔
【新智元导读】在计算能力增加和算法进步的推动下，机器学习技术已成为从数据中寻找模式的强大工具。量子系统能生产出一些非典型(atypical)模式，而一般认为经典系统无法高效地生产出这些模式。所以，有理由假定，量子计算机在某些机器学习任务上将优于经典计算机。量子机器学习这一研究领域探索如何设计和实现量子软件，如何使量子机器学习速度比经典计算机更快。该领域最近的工作已经建造出了可以担当机器学习程序基石的量子算法，但在硬件和软件方面仍面临巨大挑战。 在人类拥有计算机之前，人类就从数据中寻找模式。托勒密将对星系运动
大数据文摘授权转载自AI科技评论 作者：李梅、黄楠 编辑：陈彩娴 过去十年，深度学习取得了惊人的胜利，用大量参数和数据做随机梯度下降的方法已经被证明是有效的。而梯度下降使用的通常是反向传播算法，所以一直以来，大脑是否遵循反向传播、是否有其它方式获得调整连接权重所需的梯度等问题都备受关注。 图灵奖得主、深度学习先驱 Geoffrey Hinton 作为反向传播的提出者之一，在近年来已经多次提出，反向传播并不能解释大脑的运作方式。相反，他正在提出一种新的神经网络学习方法——前向-前向算法（Forward‑For
这一期将介绍另一种生成模型—玻尔兹曼机，虽然它现在已经较少被提及和使用，但其对概率密度函数的处理方式能加深我们对生成模型的理解。
在机器学习或者深度学习领域，生成模型具有非常广泛的应用，它可以用于测试模型的高维概率分布的表达能力，可以用于强化学习、半监督学习，可以用于处理多模输出问题，以及最常见的产生“真实”数据问题。
作者：阿萨姆 | 普华永道 数据科学家 量子位 已获授权编辑发布 转载请联系原作者 深度学习大热以后各种模型层出不穷，很多朋友都在问到底什么是DNN、CNN和RNN，这么多个网络到底有什么不同，作用各是什么？ 趁着回答《深度学习的主要分类是什么呀？这些网络cnn dbn dnm rnn是怎样的关系？》这个问题的机会，我也想介绍一下主流的神经网络模型。因为格式问题和传播原因，我把原回答内容在这篇文章中再次向大家介绍。 在更详细的介绍各种网络前，首先说明： 大部分神经网络都可以用深度(depth)和连接结构(c
定义与结构 受限玻尔兹曼机（RBM）由Geoff Hinton发明，是一种用于降维、分类、回归、协同过滤、特征学习和主题建模的算法。 下载pdf，请后台回复关键词： 20180328 目录： 1. 定义与结构 2. 重构 3. 概率分布 4. 多层结构 5. 参数与变量k 6. 连续受限玻尔兹曼机 7. 学习资源 我们首先介绍受限玻尔兹曼机这类神经网络，因为它相对简单且具有重要的历史意义。下文将以示意图和通俗的语言解释其运作原理。 RBM是有两个层的浅层神经网络，它是组成深度置信网络的基础部件。RBM的第一
【新智元导读】Russ Salakhutdinov 是苹果 AI 研发负责人，CMU 教授，也是著名的机器学习领域大牛。本文是 Russ 有关评估深度生成模型的讲座的 ppt。 本讲结构： 概要 退火
但他创立的门派——深度学习，却无人不知，点开本文的高傲的你，也许就是、或者即将成为，他的徒孙。
当我们在讨论温度的时候，我们不会认为自己扔掉了大量的信息。如果我问某人外面有多热，他们开始列举各种空气粒子的位置和速度来说明，那我会赶紧走开。
2022 年玻尔兹曼奖（Boltzmann Award）获得者公布了，共有两位入选。该奖项是由 IUPAP 统计物理委员会 (C3) 设立的，旨在表彰研究者在统计物理学领域的杰出成就。获奖者必须是没有获得过玻尔兹曼奖或诺贝尔奖的科学家。该奖项设立于 1975 年，每三年颁布一次，其名称来自于统计物理奠基者路德维希・玻尔兹曼。
受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)是一种基于能量模型的神经网络模型，在Hinton提出针对其的训练算法(对比分歧算法)后，RBM得到了更多的关注，利用
最近在学习深度置信网络（DBN）的时候，看过几篇博客，但是在DBN的结构上，一大堆博客讲DBN是将受限玻尔兹曼机（RBM）像砖块一样叠加起来的一个网络，这本身是有一些错误的，修正一波。
选自Medium 作者：James Le 机器之心编译 参与：白悦、黄小天 本文简述了机器学习核心结构的历史发展，并总结了研究者需要熟知的 8 个神经网络架构。 我们为什么需要「机器学习」？ 机器学习对于那些我们直接编程太过复杂的任务来说是必需的。有些任务很复杂，以至于人类不可能解决任务中所有的细节并精确地编程。所以，我们向机器学习算法提供大量的数据，让算法通过探索数据并找到一个可以实现程序员目的的模型来解决这个问题。 我们来看两个例子： 写一个程序去识别复杂场景中照明条件下新视角的三维物体是很困难的。我们
追根溯源，神经网络诞生于人类对于人脑和智能的追问。而这个追问经历了旷远蒙昧的精神至上学说，直到 19 世纪 20 年代。
【导读】复旦大学副教授、博士生导师、开源自然语言处理工具FudanNLP的主要开发者邱锡鹏（http://nlp.fudan.edu.cn/xpqiu/）老师撰写的《神经网络与深度学习》书册，是国内为数不多的深度学习中文基础教程之一，每一章都是干货，非常精炼。邱老师在今年中国中文信息学会《前沿技术讲习班》做了题为《深度学习基础》的精彩报告，报告非常精彩，深入浅出地介绍了神经网络与深度学习的一系列相关知识，基本上围绕着邱老师的《神经网络与深度学习》一书进行讲解。专知希望把如此精华知识资料分发给更多AI从业者，
点击标题下「大数据文摘」可快捷关注 1971年5月15日，尼加拉瓜发行了十张一套题为“改变世界面貌的十个数学公式”邮票，由一些著名数学家选出十个以世界发展极有影响的公式来表彰。这十个公式不但造福人类，
上周我们讲述了玻尔兹曼机的原理和相关的算法，我们知道为了使得其达到非常精确的解，需要非常漫长的过程，所以也就导致其应用非常困难。这周我们讲讲受限玻尔兹曼机是怎样从玻尔兹曼机演变而来，并为大家介绍Hinton在深度学习的奠基性工作——深度置信网络。 1 受限玻尔兹曼机RBM 什么是受限玻尔兹曼机？域玻尔兹曼机有什么关系和区别呢？我们先看看两者的结构图： 上图可以看到，受限玻尔兹曼机RBM就是讲BM的可见层和隐层自身之间的连接去掉了，简化了网络结构而已。BM的神经元只能取一个二值，但是RBM的神经元可以取任意类
在前面我们讲到了深度学习的两类神经网络模型的原理，第一类是前向的神经网络，即DNN和CNN。第二类是有反馈的神经网络，即RNN和LSTM。今天我们就总结下深度学习里的第三类神经网络模型：玻尔兹曼机。主要关注于这类模型中的受限玻尔兹曼机（Restricted Boltzmann Machine，以下简称RBM）， RBM模型及其推广在工业界比如推荐系统中得到了广泛的应用。
翻译 | AI科技大本营 参与 | 刘畅、Donna 目前，深度学习和深度强化学习已经在实践中得到了广泛的运用。资源型博客sky2learn整理了15个深度学习和深入强化学习相关的在线课程，其中包括它们在自然语言处理（NLP），计算机视觉和控制系统中的应用教程。 这些课程涵盖了神经网络，卷积神经网络，循环网络和其变体，训练深度网络的困难，无监督表示学习，深度信念网络，深玻尔兹曼机器，深度Q学习，价值函数估计和优化以及蒙特卡洛树搜索等多种算法的基础知识。 吴恩达：深度学习专项 这系列课程侧重于讲解深度学习
许多概率模型很难训练的原因是很难进行推断。在深度学习中，通常我们有一系列可见变量 v 和一系列潜变量 h。推断困难通常是指难以计算 p(h | v) 或其期望。而这样的操作在一些诸如最大似然学习的任务中往往是必需的。许多仅含一个隐藏层的简单图模型会定义成易于计算 p(h | v) 或其期望的形式，例如受限玻尔兹曼机和概率 PCA。不幸的是，大多数具有多层隐藏变量的图模型的后验分布都很难处理。对于这些模型而言，精确推断算法需要指数量级的运行时间。即使一些只有单层的模型，如稀疏编码，也存在着这样的问题。我们可以参考几个用来解决这些难以处理的推断问题的技巧，其描述了如何将这些技巧应用到训练其他方法难以奏效的概率模型中，如深度信念网络、深度玻尔兹曼机。
AI 研习社获得官方授权，汉化翻译CMU 2018 秋季《深度学习导论》课程，9月27日正式上线中文字幕版。
选自DL4J 机器之心编译 参与：Nurhachu Null、思源 尽管性能没有流行的生成模型好，但受限玻尔兹曼机还是很多读者都希望了解的内容。这不仅是因为深度学习的复兴很大程度上是以它为前锋，同时它那种逐层训练与重构的思想也非常有意思。本文介绍了什么是受限玻尔兹曼机，以及它的基本原理，并以非常简单的语言描述了它的训练过程。虽然本文不能给出具体的实现，但这些基本概念还是很有意思的。 定义 & 结构 受限玻尔兹曼机（RBM，Restricted Boltzmann machine）由多伦多大学的 Geoff
蛋白质的构象景观对于理解它们在复杂生物过程中的功能至关重要。传统的基于物理的计算方法，如分子动力学(MD)模拟，存在罕见事件采样和长平衡时间的问题，阻碍了其在一般蛋白质建模中的应用。近年来，深度生成模型技术，特别是扩散模型，已被用于生成新的蛋白质构象。然而，现有的基于分数的扩散模型方法不能适当地纳入重要的物理先验知识来引导生成过程，导致采样的蛋白质构象与平衡分布之间存在较大偏差。
近日，与微软合作的一组理论物理学家发表了一篇惊人的论文，将宇宙描述为：进化定律的自学成才系统（a self-learning system of evolutionary laws）。
图像来源(http://www.cognitivetoday.com/wp-content/uploads/2016/10/DCN-600×392.png) 我之前关于深度学习的文章： 1.深度学习基础（https://codeburst.io/deep-learning-what-why-dd77d432f182） 2.深度学习的自动编码器（https://codeburst.io/deep-learning-types-and-autoencoders-a40ee6754663） 今天我们将了解深度
【新智元导读】本年度的 NIPS 接近尾声，Yoshua Bengio 的报告终于出炉。Bengio这次报告主要介绍神经科学与深度学习之间的关系，逐一介绍了在神经科学上可行的深度学习概念，比如反向传播
编者注：Yoshua Bengio教授是机器学习大神之一，尤其是在深度学习这个领域，他也是人工智能领域中经典之作《Learning Deep Architectures for AI》的作者。Yoshua Bengio连同Geoff Hinton老先生以及 Yann LeCun教授一起造就了2006年始的深度学习复兴。他的研究工作主要聚焦在高级机器学习方面，致力于用其解决人工智能问题。目前他是仅存的几个仍然全身心投入在学术界的深度学习教授之一（蒙特利尔大学），本文是他在2009年的经典前瞻演讲——“人工智能
概率论，包括它的延伸-信息论，以及随机过程，在机器学习中有重要的作用。它们被广泛用于建立预测函数，目标函数，以及对算法进行理论分析。如果将机器学习算法的输入、输出数据看作随机变量，就可以用概率论的观点对问题进行建模，这是一种常见的思路。本文对机器学习领域种类繁多的概率模型做进行梳理和总结，帮助读者掌握这些算法的原理，培养用概率论作为工具对实际问题进行建模的思维。要顺利地阅读本文，需要具备概率论，信息论，随机过程的基础知识。
要说最近几年在深度学习领域最火的莫过于生成对抗网络，即 Generative Adversarial Networks(GANs)了。它是 Ian Goodfellow 在 2014 年发表的，也是这四年来出现的各种 GAN 的变种的开山鼻祖了，下图表示这四年来有关 GAN 的论文的每个月发表数量，可以看出在 2014 年提出后到 2016 年相关的论文是比较少的，但是从 2016 年，或者是 2017 年到今年这两年的时间，相关的论文是真的呈现井喷式增长。
翻译 | AI科技大本营 参与 | 刘畅 编辑 | Donna 目前，深度学习和深度强化学习已经在实践中得到了广泛的运用。资源型博客sky2learn整理了15个深度学习和深入强化学习相关的在线课程，其中包括它们在自然语言处理（NLP），计算机视觉和控制系统中的应用教程。 这些课程涵盖了神经网络，卷积神经网络，循环网络和其变体，训练深度网络的困难，无监督表示学习，深度信念网络，深玻尔兹曼机器，深度Q学习，价值函数估计和优化以及蒙特卡洛树搜索等多种算法的基础知识。 吴恩达：深度学习专项 这系列课程侧重于讲
翻译 | AI科技大本营 参与 | 刘畅 编辑 | Donna 目前，深度学习和深度强化学习已经在实践中得到了广泛的运用。资源型博客sky2learn整理了15个深度学习和深入强化学习相关的在线课程，其中包括它们在自然语言处理（NLP），计算机视觉和控制系统中的应用教程。 这些课程涵盖了神经网络，卷积神经网络，循环网络和其变体，训练深度网络的困难，无监督表示学习，深度信念网络，深玻尔兹曼机器，深度Q学习，价值函数估计和优化以及蒙特卡洛树搜索等多种算法的基础知识。 吴恩达：深度学习专项 这系列课程侧重于
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
