编辑 | 绿萝 在过去的几十年里,机器学习模型在各种现实世界任务上的性能有了显着提高。然而,训练和实施这些模型中的大多数仍然需要大量的能量和计算能力。 忆阻器和其他新兴存储技术,可用于创建神经网络的节能实现。然而,对于某些边缘应用,神经网络可能无法提供可接受的智能形式。贝叶斯推理可以解决这些问题,但它的计算成本很高,而且与神经网络不同,它不会自然地转化为基于忆阻器的架构。 近日,来自法国巴黎萨克雷大学、格勒诺布尔-阿尔卑斯大学、HawAI.tech、索邦大学和艾克斯-马赛大学的研究人员创建了一种所谓的贝叶斯
清华大学计算机系长聘副教授朱军 朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要从事机器学习研究,在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。 记者 |
记者 | 何永灿 朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新
在人工智能领域中,深度学习掀起了最近一次浪潮,但在实践和应用中也面临着诸多挑战,特别是关系到人的生命,如医疗、自动驾驶等领域场景时,黑盒的不可解释性、安全等一系列问题仍然是产学研界关注的焦点问题。
新年伊始,Nature 旗下再添三本新刊:Nature Aging(《自然 - 老龄化》)、Nature Computational Science(《自然 - 计算科学》)和 Nature Reviews Methods Primers(《自然综述 - 方法导论》)。其中 Nature Reviews Methods Primers 以刊发综述文章的形式为读者提供各种科学方法的概述及其在不同研究问题上的应用,每周出版一次。期刊上的所有文章都将采取约稿形式,涵盖生命科学和物理科学中使用的分析、应用、统计、理论和计算方法。
Zoubin Ghahramani 是英国皇家学会会士,剑桥大学信息工程系教授,Uber 首席科学家,英国国家数据科学研究所图灵研究所剑桥主任。Zoubin Ghahramani 教授曾工作或学习于宾夕法尼亚大学、MIT、多伦多大学、伦敦大学学院盖茨比组、卡耐基梅隆大学。他的研究聚焦于机器学习/人工智能概率方法,在这些主题上已经发表了超过 250 篇论文。他曾是 Geometric Intelligence(被 Uber 收购,成为了 Uber AI Labs)的联合创始人,指导众多人工智能与机器学习公司。2015 年,因其对机器学习的贡献,被选为英国皇家学会会士。
贝叶斯定理正在变得如此流行,以至于在CBS剧《生活大爆炸》中也出现了它的身影。纽约时报说,贝叶斯统计学家“遍布一切,从物理学到癌症研究,从生态学到心理学”。物理学家提出了量子机器的贝叶斯解释,以及贝叶
【导读】近日,Novartis的数据科学家Eric J. Ma进行了一次关于贝叶斯深度学习理论和实现的演讲,演讲题目是《An Attempt At Demystifying Bayesian Deep Learning》,在这次演讲中,目的是要做两件事情:揭秘深度学习的本质(实质上是用梯度下降进行带权值的矩阵乘法),并揭秘贝叶斯深度学习(将先验信息加在权值上)。 然后,作者通过PyMC3和Theano代码来说明如何构建贝叶斯深度网络,并将结果中的不确定性进行可视化,这个PPT和视频内容是学习贝叶斯深度学习非
AI 科技评论按:神经信息处理系统大会(NeurIPS)是人工智能领域最知名的学术会议之一,NeurIPS 2018 (https://nips.cc/Conferences/2018)已于去年 12 月 3 日至 8 日在加拿大蒙特利尔市举办。来自 Zighra.com 的首席数据科学家在参加完此次会议之后,撰写了一篇关于贝叶斯研究的参会总结,AI 科技评论编译整理如下。 此次会议支持现场直播,所有讲座的视频内容均可以在 NeurIPS 的 Facebook 主页上找到,除此之外,NeurIPS 主页上还
参加完2017CCAI,听完各位专家的演讲后受益匪浅。立志写“人工智能之机器学习”系列,此为开篇,主要梳理了机器学习方法体系,人工智能相关趋势,Python与机器学习,以及结尾的一点感恩。 Githu
本文主要介绍了人工智能之机器学习算法体系,包括监督学习、非监督学习、强化学习等,以及使用Python进行机器学习的实践。同时,本文还介绍了一些人工智能相关的趋势,如深度学习、AI战胜人类等。最后,作者表达了自己对人工智能的感想,认为人工智能虽然已经取得了很多成就,但仍然有很大的发展空间。
【新智元导读】 深度学习火热的背后,也带来了对神经网络自身能力的质疑,特别是被人诟病的“黑箱”问题。本文介绍了一些通过不同于深度学习的路径实现 AI 的公司,强调贝叶斯理论的重要性,指出非确定性和高斯过程在人工智能的发展中其实扮演着重要角色。在作者的介绍中,Uber 似乎是最痴迷高斯过程的一家高科技企业。 在硅谷,神经网络十分流行,它带来了种类繁多的互联网服务和众多形式的人工智能。但是,神经网络再好,能做的可能也不过是从你的线上相册中识别出猫来。AI 研究者知道,神经网络目前依然有很大的缺陷,并且缺陷如此之
机器之心专栏 作者:邓仰东 发射资本 人人都喜欢美剧《生活大爆炸》。Sheldon 和朋友们的生活看似单调,但是自有其独特的精彩。捧腹之余,理工科出身的观众不免也想看看 Sheldon 到底在做怎样
机器之心报道 编辑:杜伟、力元 一直以来,贝叶斯深度学习的先验都不够受重视,这样真的好么?苏黎世联邦理工学院计算机科学系的一位博士生 Vincent Fortuin 对贝叶斯深度学习先验进行了重新审视。 众所周知,先验的选择是贝叶斯推断流程中最关键的部分之一,但最近的贝叶斯深度学习模型比较依赖非信息性先验,比如标准的高斯。 在本篇论文中,来自苏黎世联邦理工学院计算机科学系的博士生 Vincent Fortuin 强调了先验选择对贝叶斯深度学习的重要性,概述了针对(深度)高斯过程、变分自编码器、贝叶斯神经网络
【新智元导读】王培认为,贝叶斯解释在通用智能系统中适用性有限,因此仅靠概率论的机器学习方法并不能让计算机拥有可比人脑的智能,概率论虽然是个好东西,但这条路并不能让我们抵达通用智能。 自上世纪八十年代以来,概率统计逐渐取代数理逻辑成为人工智能中最流行的形式化框架,以至于有人以此作为“新AI”取代“旧AI”的标志。源远流长的概率论和数理统计在“数据挖掘”、“大数据”、“数据科学”、“神经网络”、“机器学习”等新潮名目之下焕发出了茁壮的生命力。尤其是“深度学习”技术在近年间令人炫目的进展,令很多人考虑是否沿这条路
【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工智能( 机器学习、自然语言处理、计算机视觉等)、大数据、编程语言、系统架构。使用请访问专知 进行主题搜索查看 - 桌面电脑访问www.zhuanzhi.ai, 手机端访问www.zhuanzhi.ai 或关注微信公众号后台回复" 专知"进入专知,搜索主题查看。今天给大家继续介绍我们独家整理的机器学习——贝叶斯参数估计方法。 这次介绍一下机器学习中常见的参数估计方法,这对推断模
贝叶斯定理一旦与算法相结合,就不再是一套枯燥的数学理论或认识论,而变成了应用广泛的知识宝库,催生了众多现代数学定理,以及令人称道的实践成果。在瑞士洛桑联邦理工学院科学信息与通信学院研究员黄黎原看来,贝叶斯主义的定义,就是假设“现实”的所有模型、理论或概念都只不过是某种信念、虚构或诗歌,尤其要指出的是,“所有模型都是错的”;然后,实际数据应该迫使我们调整赋予不同模型的重要性,即置信度;关键在于,调整这些置信度的方式应该尽可能严谨地遵循贝叶斯公式。
本文介绍了贝叶斯深度学习与深度贝叶斯学习的研究背景、现状和未来展望。首先介绍了贝叶斯深度学习和深度贝叶斯学习的基本概念,然后阐述了这些方法在机器学习中的应用。最后,讨论了贝叶斯深度学习与深度贝叶斯学习未来的研究方向和挑战。
今天,继续我们的机器学习应用量化投资系列。本期我们介绍一篇研究报告,详细的介绍了7中机器学习算法在因子有效性上的展现。希望给大家在写策略时做一些参考借鉴。 前言 逻辑依旧明了,机器学习并非黑箱 谈到机器学习,大家最忌讳的便是黑箱问题。其实不必,理解机器学习算法,逻辑实则简单,比如相同的因子特征将会有相同的表现。在实战中,我们发现, 该逻辑十分有效,在我们的机器学习选股模型中,该逻辑连续十几年不曾被打破。 Adaboost 最稳定,朴素贝叶斯收益最高 全市场选股,市值中性选股等权加权,行业中性选股等
现实世界的大多数系统是没有办法给出一个确切的函数定义,比如机器学习模型中的调参,大规模数据中心的冷藏策略等问题。这类问题统统被定义为黑盒优化。黑盒优化是在没办法求解梯度的情况下,通过观察输入和输出,去猜测优化变量的最优解。在过去的几十年发展中,遗传算法和贝叶斯优化一直是黑盒优化最热门的方法。不同于主流算法,本文介绍一个基于蒙特卡洛树搜索(MCTS)的全新黑盒优化算法,隐动作集蒙特卡洛树搜索 (LA-MCTS)。LA-MCTS 发表在 2020 年的 NeurIPS,仅仅在文章公开几个月后,就被来自俄罗斯 JetBrains 和韩国的 KAIST 的队伍独立复现,并用来参加 2020 年 NeurIPS 的黑盒优化挑战,分别取得了第三名和第八名的好成绩 [10][11]。
NO.1 人工智能科普类:人工智能科普、人工智能哲学 《智能的本质》斯坦福、伯克利客座教授 30 年 AI 研究巅峰之作 《科学 + 遇见人工智能》李开复、张亚勤、张首晟等 20 余位科学家与投资人共
这是知乎上一个问题:k近邻、贝叶斯、决策树、svm、逻辑斯蒂回归和最大熵模型、隐马尔科夫、条件随机场、adaboost、em 这些在一般工作中分别用到的频率多大?一般用途是什么?需要注意什么?
人工智能之机器学习体系汇总 此处梳理出面向人工智能的机器学习方法体系,理清机器学习脉络。 监督学习 Supervised learning Fisher的线性判别 Fisher's linear discriminant 线性回归 Linear regression Logistic回归 Logistic regression 多项Logistic回归 Multinomial logistic regression 朴素贝叶斯分类器 Naive Bayes classifier 感知 Perceptron
了解人工智能的进步,这将对未来产生巨大的影响: 人工智能是前沿和中心,商界和政府领导人正在思考正确的举措。但是在实验室里发生了什么呢?在实验室里,学术和企业研究人员的发现将为未来一年乃至更长的时间设定
了解人工智能的进步,这将对未来产生巨大的影响: 人工智能是前沿和中心,商界和政府领导人正在思考正确的举措。但是在实验室里发生了什么呢?在实验室里,学术和企业研究人员的发现将为未来一年乃至更长的时间设定
简介 学过概率理论的人都知道条件概率的公式:P(AB)=P(A)P(B|A)=P(B)P(A|B);即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率。由条件概率公式推导出贝叶斯公式:P(B|A)=P(A|B)P(B)/P(A);即,已知P(A|B),P(A)和P(B)可以计算出P(B|A)。 假设B是由相互独立的事件组成的概率空间{B1,b2,...bn}。则P(A)可以用全概率公式展开:P(A)=P (A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn)。
YouTube网红小哥Siraj Raval的趣味小视频系列The Math of Intelligence又来啦!这期我们来讲一讲机器学习建模中最痛苦的部分——“超参数调优”。 超参数调优方法我们试
贝叶斯法则可能是概率论中最有生命力的一个公式。它可以用来计算条件概率或者主观概率。
羿阁 发自 凹非寺 量子位 | 公众号 QbitAI 这几天,一本免费数学教程在机器学习圈被疯转。 这本书名叫《概率数值》(Probabilistic Numerics),作者是来自马普所、牛津大学和INRIA的三位机器学习大牛,其中一位的谷歌学术引用量达到17000+。 Philipp Hennig、Michael A. Osborne和Hans P. Kersting三位作者在写这本书时,前后一共写了7年,长达400多页。 新书发布后,作者之一Philipp Hennig在推特上感叹:它终于出来了。
AI科技评论按: 3月3日,中国人工智能学会AIDL第二期【人工智能前沿讲习班】在北京中科院自动化所举行,本期讲习班的主题为【机器学习前沿】。周志华教授担任学术主任,前来授课的嘉宾均为中国机器学习界一流专家、资深科研人员和企业精英,包括:耿新、郭天佑、刘铁岩、王立威、叶杰平、于剑、余扬、张长水、郑宇、朱军。 来自清华大学计算机科学与技术系的朱军副教授做了题为《贝叶斯学习前沿进展》的开场分享课。总共2个小时时长的课程,内容主要分为三大部分:贝叶斯基本理论、模型和算法;可扩展的贝叶斯方法;深度生成模型。本文乃三
机器之心整理 演讲者:朱军 5 月 27-28 日,机器之心在北京 898 创新空间顺利主办了第一届全球机器智能峰会(GMIS 2017)。中国科学院自动化研究所复杂系统管理与控制国家重点实验室主任王飞跃为大会做了开幕式致辞。大会第一天,「LSTM 之父」Jürgen Schmidhuber、Citadel 首席人工智能官邓力、腾讯 AI Lab 副主任俞栋、英特尔 AIPG 数据科学部主任 Yinyin Liu、GE Transportation Digital Solutions CTO Wesly M
贝叶斯定理太有用了,不管是在投资领域,还是机器学习,或是日常生活中几乎都在用到它。
这篇论文旨在研究 Chat Generative Pre-trained Transformer(ChatGPT)在贝叶斯推理情况下解决数学问题的能力。
从今天开始,UAI与PaddlePaddle联合推出的【AI核心技术掌握】系列课程继续更新!
贝叶斯定理太有用了,不管是在投资领域,还是机器学习,或是日常生活中高手几乎都在用到它。
来源 |《连线》 编译整理 | 量子位 若朴 神经网络横扫硅谷如卷席,各式各样的人工智能(AI)已经潜入各式各样的互联网服务之中。不过就算神经网络已经能轻松的认出猫咪的图片,但仍然有很多不足之处,所以一些人怀疑目前人工智能的模式识别系统,是否是一种先进、可靠的AI发展之路。 无论是Facebook的面部识别、微软的翻译或是Google的搜索,背后都是神经网络通过分析大量数据学会执行任务。人工智能帮助聊天机器人学习谈话的艺术,帮助无人驾驶汽车驶上公路。但是如果没有大量仔细标注的数据,AI并不能理解世界,也
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 用贝叶斯优化来改良饼干配方,还顺便发了个顶会?! 这样的跨学科研究你玩过吗? 这不,谷歌大脑的几位研究人员就干了这么一件事。 他们和人类厨师、评分员一起,一共进行了144次实验,摸索出了人们最喜欢的巧克力曲奇配方。 还顺便发现不同地区的人对口味也有着细微的偏好: 比如加州的顾客更喜欢不那么甜的,匹兹堡的则喜欢cayenne(红辣椒,一种香料)多一点的(我也不知道为什么饼干里要加辣椒)。 当然,最厉害的是,这款“机器学习曲奇”的做法得到了谷歌自助餐厅厨师
新一年博士招生正式启动!本期我们将为大家介绍香港中文大学和佐治亚理工学院的招生信息。 作为专业的全球人工智能信息服务平台,机器之心的读者中有大量活跃于人工智能学术领域的顶级学者,也有许多正在攻读 AI 方向的学生。 之前,机器之心发布了多篇与招收硕士 / 博士 / 博士后相关的文章,为广大读者传递了海内外招生的教授与实验室信息,引起了不错的反响。 如今,又到了博士招生的季节,我们整理了海内外多所实验室的招生信息。本期我们将为大家介绍香港中文大学和佐治亚理工学院的招生信息。希望这些消息对准备继续深造的你有所
【新智元导读】康奈尔大学研究员结合贝叶斯和对抗生成网络,在6大公开基准数据集上实现了半监督学习的最佳性能,同时,这也是迈向终极无监督式学习的一大步。研究提出了一个实用的贝叶斯公式,用GAN来进行无监督学习和半监督式学习。这种新提出的方法,简洁性是其最大的优势——推理是直接进行的、可解释的、稳定的。所有的实验结果的获得,都不需要参数匹配,正则化或者任何的特别(ad-hoc)技巧。 康奈尔大学的 Andrew Gordon Wilson 和 Permutation Venture 的 Yunus Saatch
作为 2019 年最后一场重量级的人工智能国际学术顶会,NeurIPS 2019 所反映出的一些人工智能研究趋势,例如神经网络可解释性、深度学习新方法、神经科学等等,想必对于大家在新的一年开展研究工作,具有一定的借鉴和参考价值。
本文通过一系列机器学习信息图示,很好地将机器学习的发展历史、关键方法以及未来会如何影响社会生活展现了出来。基础概念部分包括机器学习各大学派错综关系的梳理;应用部分则描述了机器学习在社会中作用。文中的信息图非常专业,是值得珍藏的材料。我们在此基础上进行了解说。希望这篇文章能对你有所帮助,让你在学习和应用AI技术的道路上更进一步!
纵观历史,人类已经建立了许多既需要自主行动又需要参与者之间协调互动的系统。交通网络、智能电网或股票市场就是这些系统的例子,它们已经成为我们社会的基本支柱。这些系统的基本特征是,它们要求参与者执行自治任务,这些任务的影响是在与其他参与者共享的环境中看到的。在人工智能(AI)代理中重现这种动态是极具挑战性的。其中一个挑战便是如何平衡AI代理的个人利益与整个群体的利益。人工智能解决方案公司SecondMind最近的一篇论文详细介绍了实施多智能体人工智能系统的激励模型。
近年来,随着 Google 的 AlphaGo 打败韩国围棋棋手李世乭之后,机器学习尤其是深度学习的热潮席卷了整个 IT 界。所有的互联网公司,尤其是 Google 微软,百度,腾讯等巨头,无不在布局人工智能技术和市场。百度,腾讯,阿里巴巴,京东,等互联网巨头甚至都在美国硅谷大肆高薪挖掘人工智能人才。现在在北京,只要是机器学习算法岗位,少则月薪 20k,甚至 100k 以上……
Designing Ecosystems of Intelligence from First Principles
了解大脑中的信息处理并创造通用人工智能是全世界科学家和工程师的长期愿望。人类智能的显着特征是在与包括自我在内的世界的各种互动中的高级认知和控制,这些不是预先定义的,而是随着时间而变化的。构建类人智能机器的挑战,以及脑科学和行为分析、机器人技术及其相关理论形式化方面的进展,说明了世界模型学习和推理的重要性。在本文中,在简要回顾了内部模型学习和概率学习的历史和挑战之后,我们介绍了自由能原理,它为考虑神经元计算和概率世界模型提供了一个有用的框架。接下来,我们展示了在该原则下解释的人类行为和认知的示例。然后,我们将概率建模背景下的符号出现描述为认知机器人学前沿的一个主题。. 最后,我们回顾了使用新颖的概率编程语言在创建类人智能方面的最新进展。这些研究得出的惊人共识是,对学习和推理的概率描述是创建类人人工智能机器并在人类如何与世界互动的背景下理解智能的强大而有效的方法。
美国时间3月21日,NVIDIA GTC主题演讲的舞台上闪耀着一道光芒,那就是联合创始人兼总裁黄仁勋推出的一项划时代的创新:Blackwell GPU。这款GPU并不仅仅是一块硬件,它仿佛是一座通向未来的桥梁,一个连接人类智慧与科技奇迹的纽带。
领取专属 10元无门槛券
手把手带您无忧上云