首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >非随机全局优化是可取的还是必要的?

非随机全局优化是可取的还是必要的?
EN

Data Science用户
提问于 2020-09-03 17:38:51
回答 1查看 305关注 0票数 2

背景

我特别指的是非凸黑匣子优化问题的形式:

\text{min} f(\vec{x})
s.t. \ \ a_i\le x_i \le b_i \ \forall i\in \{1,2,...,n\} \ \ \ \text{and}\ \ \ \vec{a},\vec{b}\in \Bbb{R}^n

假设任何n

令人感兴趣的是产生良好解决方案的全局优化器,但这些解决方案不一定是全局最优方案,也不一定是全局最优方案。

进化算法

进化算法(EAs)通常是解决这类问题的最优算法,这些方法包括:遗传算法、粒子群优化器、差分进化算法以及基于生物交互的所有算法。几乎每个EA都有随机成分。无论是随机初始化,还是代际(或代内)子例程中的任意性,如交叉选择或随机突变,在EAs领域中,禁欲主义是相当普遍的。您在这本日记这一个中找到的几乎所有东西都属于这个类别。

非随机优化与确定性全局优化

我对确定性全局优化器不感兴趣。这些方法提供了某种形式的概率/可信度,甚至保证了所找到的解确实是全局最优解。这在离散/组合优化中比较常见,但当用户有某种形式的先验知识/假设时,一些确定性优化器有时会发生切线相关。确定性优化器的偏好/必要性是显而易见的,即使它们只是给出了与所找到的解决方案相关联的信心。因此,我再说一遍,我不是指这些。

非随机全局优化器

我只知道一些非随机的全局优化器。最著名的可能是直接搜索(也称为模式搜索)算法的许多变体。直接搜索算法由费米与大都会提出,然后由胡克和吉夫斯推广到广义模式搜索(GPS)中,将重的正碱基的使用扩展为网格,直接搜索算法与经典的算法相似,它们使用具有底层几何结构的点的邻域(确定性地)探索搜索空间。当然,也存在一些非随机变体,包括卢斯-雅科拉's对一个均匀分布的邻域的抽样,或者比较流行的网格自适应直接搜索及其所有的分拆。

在互联网上还有其他一些非随机的全局优化者,比如这一个,但我还没有找到一个解释非随机主义的实际意义的工具。

问题

在上述背景中描述的非随机全局优化器的一些具体用例是什么?

是否存在需要非随机优化的情况?可能是关键任务优化,还是需要重复性的地方?也许是医学导向的东西?还是可解释性?

我能想到的唯一例子(来自于ML/DL背景)是这样的情况,它会被稍微优先考虑,但肯定没有必要。特别是,我们可以使用一种非随机优化算法来训练一个ML模型,这样我们就可以观察到ML模型超参数的影响。换句话说,消除优化器中的禁欲主义可以帮助解释/调优实际的ML模型超参数,因为您可以看到修改的原因/效果,目前由于训练中的随机性而存在不确定性。

EN

回答 1

Data Science用户

发布于 2020-09-06 14:40:09

非随机全局优化对于解空间的有向搜索是可行的.如果存在先验知识,则该知识可以将优化指向特定的区域。随机全局优化可能会对解空间的区域进行无效率的探索。

非随机全局优化的一个具体例子是贝叶斯优化。在贝叶斯优化中,样本不是随机选取的。根据计算的后验分布选取样本,往往是为了最大限度地提高期望的改善效果。

贝叶斯优化已经应用于许多应用,包括机器学习超参数整定

票数 0
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/81189

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档