Zoubin Ghahramani 是英国皇家学会会士,剑桥大学信息工程系教授,Uber 首席科学家,英国国家数据科学研究所图灵研究所剑桥主任。Zoubin Ghahramani 教授曾工作或学习于宾夕法尼亚大学、MIT、多伦多大学、伦敦大学学院盖茨比组、卡耐基梅隆大学。他的研究聚焦于机器学习/人工智能概率方法,在这些主题上已经发表了超过 250 篇论文。他曾是 Geometric Intelligence(被 Uber 收购,成为了 Uber AI Labs)的联合创始人,指导众多人工智能与机器学习公司。2015 年,因其对机器学习的贡献,被选为英国皇家学会会士。
深度确定性策略梯度(deep deterministic policy gradient,DDPG):在连续控制领域经典的强化学习算法,是深度Q网络在处定性”表示其输出的是一个确定的动作,可以用于连续动作环境;“策略梯度”代表的是它用到的是策略网络,并且每步都会更新一次,其是一个单步更新的策略网络。其与深度Q网络都有目标网络和经验回放的技巧,在经验回放部分是一致的,在目标网络的更新上有些许不同。
选自arXiv 机器之心编译 2017 年 5 月,清华大学朱军教授在机器之心 GMIS 2017 大会现场详解了他们开发的贝叶斯深度学习 GPU 库珠算。近日,清华大学公开了珠算相关论文,机器之心对
图神经网络(Graph Neural Networks)在图表示学习任务中获得了空前的成功。然而和深度学习的领域相比,图神经网络一个显著的特征是,网络在浅层的时候(层数只有2-3层)就取得了最好的表现。如果我们继续加深图神经网络,那么其表现反而会快速下降。这和深度学习中的内核“深度”二字相违背。
【导读】复旦大学副教授、博士生导师、开源自然语言处理工具FudanNLP的主要开发者邱锡鹏(http://nlp.fudan.edu.cn/xpqiu/)老师撰写的《神经网络与深度学习》书册,是国内为数不多的深度学习中文基础教程之一,每一章都是干货,非常精炼。邱老师在今年中国中文信息学会《前沿技术讲习班》做了题为《深度学习基础》的精彩报告,报告非常精彩,深入浅出地介绍了神经网络与深度学习的一系列相关知识,基本上围绕着邱老师的《神经网络与深度学习》一书进行讲解。专知希望把如此精华知识资料分发给更多AI从业者,
【新智元导读】训练基于能量的概率模型面临着难解的加和问题(intractable sums),Yoshua Bengio 和学生 Taesup Kim 只使用深度神经网络,提出一个训练基于能量的概率模型的新框架,用一种非马尔科夫链的深度有向生成模型,绕开了使用马尔科夫链蒙特卡洛方法难解性的问题。 题目:使用基于能量的概率估计的深度有向生成模型(Deep Directed Generative Models with Energy-Based Probability Estimation) 作者:加拿大蒙特利
在机器学习或者深度学习领域,生成模型具有非常广泛的应用,它可以用于测试模型的高维概率分布的表达能力,可以用于强化学习、半监督学习,可以用于处理多模输出问题,以及最常见的产生“真实”数据问题。
◆ 动机 图神经网络(Graph Neural Networks)在图表示学习任务中获得了空前的成功。然而和深度学习的领域相比,图神经网络一个显著的特征是,网络在浅层的时候(层数只有2-3层)就取得了最好的表现。如果我们继续加深图神经网络,那么其表现反而会快速下降。这和深度学习中的内核“深度”二字相违背。 训练集和测试集准确率v.s.模型深度 为了探究为什么图神经网络会表现出这样的行为,以及设计出新的算法来提升深度图神经网络的表现。我们从网络的可训练性(trainability)角度来探究深度图神经网络背
翻译 | 林椿眄 编辑 | SuiSui 前言 随着机器学习的进步和深度学习的出现,一些工具和图形表示被逐渐用来关联大量的数据。深度置信网络(Deep Belief Networks)本质上是一种具有生成能力的图形表示网络,即它生成当前示例的所有可能值。 深度置信网络是概率统计学与机器学习和神经网络的融合,由多个带有数值的层组成,其中层之间存在关系,而数值之间没有。深层置信网络主要目标是帮助系统将数据分类到不同的类别。 深度信念网络如何演进? 第一代神经网络使用感知器,通过考虑“权重”或预先馈送的目标属
翻译 | 林椿眄 编辑 |SuiSui 前言 随着机器学习的进步和深度学习的出现,一些工具和图形表示被逐渐用来关联大量的数据。深度置信网络(Deep Belief Networks)本质上是一种具有生成能力的图形表示网络,即它生成当前示例的所有可能值。 深度置信网络是概率统计学与机器学习和神经网络的融合,由多个带有数值的层组成,其中层之间存在关系,而数值之间没有。深层置信网络主要目标是帮助系统将数据分类到不同的类别。 深度信念网络如何演进? 第一代神经网络使用感知器,通过考虑“权重”或预先馈送的目标属性
作者 | 王灏 整理 | 维克多 人工智能(AI)的进展显示,通过构建多层的深度网络,利用大量数据进行学习,可以获得性能的显著提升。但这些进展基本上是发生在感知任务中,对于认知任务,需要扩展传统的AI范式。 4月9日,罗格斯大学计算机科学系助理教授王灏,在AI TIME青年科学家——AI 2000学者专场论坛上,分享了一种基于贝叶斯的概率框架,能够统一深度学习和概率图模型,以及统一AI感知和推理任务。 据介绍,框架有两个模块:深度模块,用概率型的深度模型表示;图模块,即概率图模型。深度模块处理高维信号,图模
概率图模型(Probabilistic Graphical Model,PGM),简称图模型(Graphical Model,GM),是指一种用图结构来描述多元随机变量之间条件独立关系的概 率模型,从而给研究高维空间中的概率模型带来了很大的便捷性。它以图为表示工具,最常见的是用一个结点表示一个或一组随机变量,结点之间的边表示变量之间的概率关系,即“变量关系图”。
有无穷无尽的计算资源并不一定可以为所欲为。但知识蒸馏似乎可以帮你尽量突破分布式随机梯度下降的瓶颈!
枯木逢春:深度信念网络 ---- 深度信念网络的基本概念和基本原理,其要点如下: 深度信念网络是一种生成模型,能够建立输入和输出的联合概率分布; 受限玻尔兹曼机是构成深度信念网络的基本单元,是由可见层
AI 科技评论按:近日张钹院士和朱军教授团队在 arXiv 上贴出一篇论文《Graphical Generative Adversarial Networks》,论文提出了一种 Graphical-GAN 模型框架,该模型综合了深度隐式模型(Deep Implicit Model)和概率图模型(Probabilistic Graphical Models)的优点,能够利用数据的基本结构来进一步提升生成网络的表现。
“人工智能前沿讲习班”(AIDL)由中国人工智能学会主办,旨在短时间内集中学习某一领域的基础理论、最新进展和落地方向,并促进产、学、研相关从业人员的相互交流。对于硕士、博士、青年教师、企事业单位相关从业者、预期转行AI领域的爱好者均具有重要的意义。2018年AIDL活动正在筹备,敬请关注公众号获取最新消息。
Machine Learning Mastery 计算机视觉教程 通道在前和通道在后图像格式的温和介绍 深度学习在计算机视觉中的 9 个应用 为 CNN 准备和扩充图像数据的最佳实践 8 本计算机视觉入门书籍 卷积层在深度学习神经网络中是如何工作的? DeepLearningAI 卷积神经网络课程(复习) 如何在 Keras 中配置图像数据扩充 如何从零开始为 CIFAR-10 照片分类开发 CNN 用于 Fashion-MNIST 服装分类的深度学习 CNN 如何为 MNIST 手写数字分类开发 CNN
深度学习是机器学习领域中的一个分支,主要研究如何使用神经网络等深度结构来解决复杂的模式识别和决策问题。深度学习已经在图像识别、语音识别、自然语言处理等领域取得了很多成功的应用,也成为了人工智能研究的重要方向之一。
经典的概率无监督学习通过最大化对数似然 从数据分布 中拟合一组简单的概率分布 。深度无监督学习的最新进展能够显著提高能够拟合数据的分布 的复杂度。这些进展给很多领域带来了一些引人注目的应用,例如语音生成,表示学习,其他任务的模型预训练[152],异常检测,缺失数据推断,降噪[150],超分辨率[153],压缩[154],计算机辅助设计[155],甚至一些名义上的有监督任务,例如分类和回归[156]。
【导读】在NIPS 2017上,亚马逊机器学习专家Neil Lawrence在12月4日在长滩现场进行了一场“基于高斯模型的深度概率模型”的演讲报告。这场报告Neil Lawrence形象化地讲解了使用高斯过程来建模深度网络,并且深入浅出地讲解了什么是机器学习,不确定性的含义以及深度神经网络和高斯过程的一些关联等等,PPT内容干货很多,是学习机器学习概率理论的好文,后续专知会持续讲解PPT里的相关概念,敬请期待。 ▌深度高斯过程 ---- 当前神经网络模型, 结构上非常清晰, 但是人们很难完整的把一个神经
近年来,深度学习在语音、图像、自然语言处理等领域都取得了非常不错的成果,自然而然地成为技术人员争相学习的热点。
机器之心专栏 机器之心编辑部 美国物理学会院士 Barabasi 教授在其 2012 年发表于 Nature Physics 的文章中指出:「21 世纪将是网络理论的世纪,它正在形成的理论和算法框架将成为许多研究与应用领域的新的驱动力。」 大量研究显示,复杂网络普遍具有一些显著的统计特性,比如小世界效应、无标度分布、网络弹性等。尤其是,Girvan 和 Newman 发现了复杂网络的另一个重要统计特性——社团结构,即网络通常会由一些稠密相连的结点簇组成。自此,学术界掀起了对复杂网络社团结构的研究热潮。 本文
隐马尔可夫模型可以由五个元素来描述:隐含状态,可观测状态,初始状态概率矩阵,(),()
【新智元导读】AlphaGo的巨大成功掀起了围棋界三千年未有之大变局,也使得深度强化学习(Deep Reinforcement Learning)渐为大众熟悉。尤其是最新推出的AlphaGo Zero完全摒弃了人类知识,并且三天内碾压了早期版本的AlphaGo,更足显强化学习和深度学习结合的巨大威力。AlphaGo Zero的论文侧重于描述效果,对于方法的论述比较简短,没有相关背景的人读起来可能会有一些困难。本文对强化学习以及AlphaGo Zero算法做了详细描述。 作者简介:王晶,Google广告大数据
A survey on Bayesian deep learning贝叶斯深度学习综述
深度学习是机器学习的一个领域,利用大规模网络,海量数据集和在GPU(图形处理单元)上的加速运算。
选自MetaMind 作者:Alexander Rosenberg Johansen 机器之心编译 参与:机器之心编辑部 自然语言处理是人工智能研究的核心问题之一。近日,已宣布被 Salesforce 收购的深度学习公司 MetaMind 在其官方网站上发表了一篇文章,深度剖析了 LSTM 和词袋模型在自然语言处理上的应用。文章中有一些交互式图示,感兴趣的读者可以浏览原网页查阅。本文作者为 MetaMind 研究科学家 Alexander Rosenberg Johansen。据介绍,该研究的相关论文将会很
👆点击“博文视点Broadview”,获取更多书讯 📷 强化学习,除了可以用于单个强化学习智能体和环境的相互作用,也可以用于两个或者多个智能体在某个强化学习环境下的博弈。 关于这种类型的算法,最有名的应该是蒙特卡洛树搜索(Monte Carlo Tree Search,MCTS)。 随着AlphaGo和AlphaZero算法在围棋、国际象棋和将棋等棋类领域的广泛应用,并且在这些领域内均取得了相比传统的Alpha-Beta 剪枝算法更加优异的性能,蒙特卡洛树搜索算法作为这些智能体使用的算法也被越来越多的人研究
为计算机视觉领域广泛研究的核心问题之一,多视角立体几何( MVS)通过具有重叠区域的多幅图像以及预先标定的相机参数,旨在重建出稠密的3维场景。该技术正广泛应用于机器人导航、虚拟增强现实、无人搜救、自动驾驶等领域。传统方法[1]通过多个视图间的投影关系恢复3D点,在理想的散射方案下取得了不错的效果,但在镜面反射、弱纹理等区域难以保证准确的密集匹配。
【深度学习 | 核心概念】那些深度学习路上必经的核心概念,确定不来看看? (一) 作者: 计算机魔术师 版本: 1.0 ( 2023.8.27 )
论文题目:MVSNet: Depth Inference for Unstructured Multi-view Stereo, (ECCV2018 Oral)
开篇的这张图代表ILSVRC历年的Top-5错误率,我会按照以上经典网络出现的时间顺序对他们进行介绍,同时穿插一些其他的经典CNN网络。
原标题 | An Introduction to Dropout for Regularizing Deep Neural Networks
选自arXiv.org 机器之心编译 参与:蒋思源、吴攀 深度学习是一种高效的非线性高维数据处理方法,它可以更自然地解释为一种工程或算法,而本论文希望从贝叶斯的角度将深度学习看作是一种广义线性模型的
按要求转载自36Kr 作者:石亚琼 AlphaGo再战柯洁,AI继续成为国内外热议的话题,当下AI近乎显学,路人皆知,“名人辈出”。这种情况下,我们也希望能够“回归学界”,与学术界的科研人员聊一下大家关心的AI话题,希望获得一些新的认知收获。 近期,我们拜访了北大林作铨教授。他现为北大数学学院信息科学系一级教授,曾任信息科学系系主任。林教授从事AI研究30年,连续讲授AI课近20年,带博士研究生做AI问题的研究,见证了人工智能60年历史的后半程。 林教授表示愿意从教学角度去做这次分享讨论,因为从教学上老
我们都知道,对于有监督的机器学习中的分类问题,求解问题的算法可以分为生成模型与判别模型两种类型。但是,究竟什么是生成模型,什么是判别模型?不少书籍和技术文章对这对概念的解释是含糊的。在今天这篇文章中,我们将准确、清晰的解释这一组概念。
寄语:本文梳理了深度学习知识体系,分为机器学习、神经网络和概率图模型,同时对机器学习算法类型、深度学习原理框架等进行了梳理,帮助大家更好地学习和入手深度学习。
我们知道,将具有不同配置的卷积神经网络模型组合可以减少过拟合,但代价是需要额外的训练和维护多个模型。
近年来,以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能问答、推荐系统到自动驾驶,人们在日常生活中都可能有意无意地使用到了人工智能技术。越来越多的人开始关注这一个“崭新”的研究领域:深度学习。
深度神经网络最近在机器学习方面取得了显著的成功,这就对其成功背后的理论原理提出了深刻的问题。例如,这样的深层网络可以计算什么?我们如何训练他们?信息是如何通过它们传播的?为什么他们泛化能力很好?我们怎么能教他们想象呢?
本文介绍了 AlphaGo Zero 的核心思想,通过自我对弈学习围棋,在不使用人类棋谱的情况下,三天内以 100 比 0 的战绩战胜 AlphaGo Lee;同时,对 AlphaGo Master 的提升也显示出强化学习在围棋领域的潜力。
本论文介绍的DeepProlog是一种概率逻辑编程语言,通过神经谓词和深度学习结合起来。我们将展示现有的推理和正在学习的技术将如何适应新的语言。我们的实验表明,DeepProblog支持符号和子符号的表示和推理,程序的归结,概率逻辑规划,从样例中学习。据我们所知,这项工作首先提出了一个能把通用神经网络和表达概率逻辑建模和推理以某种方式结合的框架,从而有更强的表达能力和两种框架的优点,并且可以基于样例进行端到端的训练。
本文为大家带来了斯坦福大学PH.D Aditya Grover同学的深度生成模型tutorial,希望对大家的学习有所帮助。
这篇文章主要介绍目前一些语音识别技术与HMM有什么关系,然后你就会发现,很多技术其实有借用HMM的思想
选自MIT 机器之心编译 参与:Jane W 这是一篇讲解深度学习数学的系列文章,但并非是基础数学,还涉及到了拓扑与测度论等内容。本文为该系列文章的第一部分,机器之心会持续把后续内容全部放出。更规范
谷歌大脑近日公开一篇论文“Simple, Distributed, and Accelerated Probabilistic Programming”,发表于NIPS 2018。论文描述了一种简单、低级的方法,用于将概率编程嵌入到深度学习生态系统中。
作者:Carlos E. Perez 编译:高宁、阮雪妮、Aileen Yann LeCun说,他已经做好放弃概率论的准备了! 今年9月初,Yann LeCun在Cognitive Computational Neuroscience (CCN) 2017上发表了题为“为什么大脑能短时间内学习如此多东西?”的演讲,在演讲中他提到,他已经做好放弃概率论(throw Probability Theory under the bus)的准备。 他认为概率理论只是一个工具,而非现实或智能系统的基本特征。作为一个工
【导读】12月7日,第31届神经信息处理系统大会(Neural Information Processing Systems,NIPS)邀请牛津大学统计学教授、Deepmind 研究科学家,同时也是和Hinton一起发明深度信念网络(Deep Belief Network,DBN)的Hinton高徒 Yee Whye Teh(郑宇怀)发表了题为《Bayesian Deep Learning and Deep Bayesian Learning》(贝叶斯深度学习与深度贝叶斯学习)的报告。 ▌演讲人介绍 ---
近年来,深度学习技术在计算机视觉(CV)、自然语言处理(NLP)等热门领域都取得了非常大的进展。深度学习的资料也层出不穷。相信很多入门深度学习的读者面对海量资源的时候,很容易陷入到一种迷茫的状态。简单来说,就是选择越多,越容易让人陷入无从选择的困境。
领取专属 10元无门槛券
手把手带您无忧上云