专栏首页arxiv.org翻译专栏贝叶斯优化的随机高斯过程置信上界(CS LG)
原创

贝叶斯优化的随机高斯过程置信上界(CS LG)

为了提高贝叶斯优化的性能,我们提出了一种改进的高斯过程置信上界(GP-UCB)获取函数,这是通过从分布中抽样勘探开发权衡参数来实现的。我们在论文中证明了改进后的贝叶斯优化允许改变期望的权衡参数,从而可以更好地适应问题,而不会影响函数的贝叶斯后悔边界。结果表明,该方法在实际问题和综合问题上均优于GP-UCB。

原文题目:Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation

原文:In order to improve the performance of Bayesian optimisation, we develop a modified Gaussian process upper confidence bound (GP-UCB) acquisition function. This is done by sampling the exploration-exploitation trade-off parameter from a distribution. We prove that this allows the expected trade-off parameter to be altered to better suit the problem without compromising a bound on the function's Bayesian regret. We also provide results showing that our method achieves better performance than GP-UCB in a range of real-world and synthetic problems.

原文作者:Julian Berk, Sunil Gupta, Santu Rana, Svetha Venkatesh

原文链接:https://arxiv.org/abs/2006.04296

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AI学习者必备 | 圣母大学公开统计计算课程讲义(视频+PPT+作业)

    翻译 | AI科技大本营(rgznai100) 参与 | 刘畅 近日,圣母大学(University of Notre Dame)公开了一门统计学课程资源,包括...

    AI科技大本营
  • 深度学习贝叶斯,这是一份密集的6天速成课程(视频与PPT)

    多数讲师和助教都是贝叶斯方法研究团队的成员以及来自世界顶级研究中心的研究者。很多讲师曾经在顶级国际机器学习会议例如 NIPS、ICML、ICCV、CVPR、IC...

    机器之心
  • 机器学习最强调参方法!高斯过程与贝叶斯优化

    机器学习模型中有大量需要事先进行人为设定的参数,比如说神经网络训练的batch-size,XGBoost等集成学习模型的树相关参数,我们将这类不是经过模型训练得...

    石晓文
  • 一种通过移动数据发现日常人类出行方式的概率方法(CS LG)

    近年来,从智能手机用户那里收集的地理位置数据来发现人们的出行方式一直是研究的热点。在本文中,我们尝试根据GPS数据发现每日的移动模式。我们从概率的角度来看这个问...

    小童
  • 格林函数的协方差矩阵及其在机器学习中的应用(CS LG)

    本文提出并实现了一种基于格林函数理论的回归算法。本文首先研究了二阶线性常微分方程Dirichlet边值问题的Green函数,它是适合Hilbert空间的再生核。...

    Elva
  • 算法常见问题

    逻辑回归要点:逻辑回归是通过sigmoid函数使损失函数达到最小或者是似然函数达到最大通过相应的优化算法求出其中的参数值实现分类。(什么优化算法:了解过梯度下降...

    步履不停凡
  • Nature | 贝叶斯优化算法为合成化学带来了哪些突破?

    今天给大家介绍的是来自普林斯顿大学计算机科学教授Ryan P. Adams课题组及美国新生代比较知名的有机化学家Abigail G. Doyle课题组联合发表在...

    智能生信
  • 学界 | 提升DNN参数准确度:MILA提出贝叶斯超网络

    选自arXiv 机器之心编译 参与:蒋思源、李泽南 深度神经网络(DNN)参数中简单而强大的贝叶斯推理(Bayesian inference)技术有可能大大扩展...

    机器之心
  • 斯坦福经典AI课程CS 221官方笔记来了!机器学习模型、贝叶斯网络等重点速查

    斯坦福大学的人工智能课程“CS 221”,这门铁打的课程从2011年开始已经走过了8个年头,流水的讲师换了一批又一批,送走的毕业生一拨又一拨,至今仍然是人工智能...

    zenRRan
  • 教程 | 拟合目标函数后验分布的调参利器:贝叶斯优化

    机器之心
  • 干货 | 一文读懂什么是贝叶斯机器学习

    关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 你知道贝叶斯法则。机器学习与它有何相...

    昱良
  • 一篇文章了解贝叶斯机器学习

    你知道贝叶斯法则。机器学习与它有何相关?它可能很难掌握如何把拼图块放在一起——我们了解它花了一段时间。 贝叶斯和频率论者 在本质上,贝叶斯意味着概率。这个具体的...

    CDA数据分析师
  • 每周学点大数据 | No.55分类算法——Naive Bayes

    NO.55 分类算法——Naive Bayes 小可:说完了聚类,那么分类算法又是怎么做的呢? Mr. 王:我们知道,分类是首先通过对训练集中大量数据的分析,训...

    灯塔大数据
  • 演讲 | 技术讲解概率机器学习——深度学习革命之后AI道路

    Zoubin Ghahramani 是英国皇家学会会士,剑桥大学信息工程系教授,Uber 首席科学家,英国国家数据科学研究所图灵研究所剑桥主任。Zoubin G...

    机器之心
  • 学界 | NeurIPS 2018 中的贝叶斯研究

    此次会议支持现场直播,所有讲座的视频内容均可以在 NeurIPS 的 Facebook 主页上找到,除此之外,NeurIPS 主页上还有一些非常有趣的主题演讲,...

    AI科技评论
  • 学霸双胞胎开源斯坦福CS 221人工智能备忘录,图文并茂看懂反射、状态、变量、逻辑

    这份备忘录解释了课程中的许多名词、公式和原理,动图、文字、表格并茂,作者之一还是官方助教,堪称CS 221最佳学习笔记。

    磐创AI
  • 机器学习16:逻辑回归模型

    逻辑回归模型是对线性回归模型解决分类任务的改进,是广义线性模型。它可以被看做是Sigmoid函数(logistic方程)所归一化后的线性回归模型,主要用于二...

    用户5473628
  • 全栈必备 贝叶斯方法

    对一个全栈老码农而言,经常在开发或者研发管理的时候遇到各种预测、决策、推断、分类、检测、排序等诸多问题。面对“你的代码还有bug么?”这样的挑战,一种理智的回答...

    半吊子全栈工匠
  • ​独家 | 一文读懂贝叶斯优化

    许多现代的机器学习算法都涉及大量的超参数。为了高效地使用这些算法,我们需要选择合适的超参数值。我们将在本文中讨论贝叶斯优化,它是一种常用于调整超参数的技术。更通...

    数据派THU

扫码关注云+社区

领取腾讯云代金券