我特别指的是非凸黑匣子优化问题的形式:
假设任何n
令人感兴趣的是产生良好解决方案的全局优化器,但这些解决方案不一定是全局最优方案,也不一定是全局最优方案。
进化算法(EAs)通常是解决这类问题的最优算法,这些方法包括:遗传算法、粒子群优化器、差分进化算法以及基于生物交互的所有算法。几乎每个EA都有随机成分。无论是随机初始化,还是代际(或代内)子例程中的任意性,如交叉选择或随机突变,在EAs领域中,禁欲主义是相当普遍的。您在这本日记或这一个中找到的几乎所有东西都属于这个类别。
我对确定性全局优化器不感兴趣。这些方法提供了某种形式的概率/可信度,甚至保证了所找到的解确实是全局最优解。这在离散/组合优化中比较常见,但当用户有某种形式的先验知识/假设时,一些确定性优化器有时会发生切线相关。确定性优化器的偏好/必要性是显而易见的,即使它们只是给出了与所找到的解决方案相关联的信心。因此,我再说一遍,我不是指这些。
我只知道一些非随机的全局优化器。最著名的可能是直接搜索(也称为模式搜索)算法的许多变体。直接搜索算法由费米与大都会提出,然后由胡克和吉夫斯推广到广义模式搜索(GPS)中,将重的正碱基的使用扩展为网格,直接搜索算法与经典的法算法相似,它们使用具有底层几何结构的点的邻域(确定性地)探索搜索空间。当然,也存在一些非随机变体,包括卢斯-雅科拉's对一个均匀分布的邻域的抽样,或者比较流行的网格自适应直接搜索及其所有的分拆。
在互联网上还有其他一些非随机的全局优化者,比如这一个,但我还没有找到一个解释非随机主义的实际意义的工具。
在上述背景中描述的非随机全局优化器的一些具体用例是什么?
是否存在需要非随机优化的情况?可能是关键任务优化,还是需要重复性的地方?也许是医学导向的东西?还是可解释性?
我能想到的唯一例子(来自于ML/DL背景)是这样的情况,它会被稍微优先考虑,但肯定没有必要。特别是,我们可以使用一种非随机优化算法来训练一个ML模型,这样我们就可以观察到ML模型超参数的影响。换句话说,消除优化器中的禁欲主义可以帮助解释/调优实际的ML模型超参数,因为您可以看到修改的原因/效果,目前由于训练中的随机性而存在不确定性。
https://datascience.stackexchange.com/questions/81189
复制相似问题