超参数对模型至关重要。
网格搜索应该是最简单的超参数搜索算法。采用较大的搜索范围和较小的步长。十分耗费计算资源和时间。一般是先设置较大的搜索范围和较大的步长,来寻找全局最优值的可能位置,然后缩小搜索范围得我步长和范围,但是如果目标函数非凸,可能错过全局最优值。
在搜索范围随机抽样,样本足够大,也有很大的概率找到全局最优值,当然,结果没法保证。
贝叶斯算法会记录测试过的值,学习目标函数的形状,找到全局最优值提升的参数。 贝叶斯算法,先根据先验分布,假设一个搜索函数,然后每一次使用采样的点测试目标函数时,利用这个信息来更新目标函数的先验分布,最后,算法测试根据后验分布找到全局最值的最大的可能性的点。 贝叶斯算法如果找到了局部最优解,则会在该区域不断地采样,很容易陷入局部最优值。
过拟合指模型对于训练数据拟合过当,反应出来就是训练集评价指标表现很好,但是在测试卷或者新数据上面表现一塌糊涂,评价指标明显差于训练集。 欠拟合则是,模型在训练集和预测时表现都不好。
欠拟合无法捕捉数据的特征,过拟合则是模型复杂,把噪声也学习到了模型中,导致模型泛化能力差。
本文分享自 Python与MySQL 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!