前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >机器学习day5

机器学习day5

作者头像
福贵
发布2020-06-04 15:54:10
2580
发布2020-06-04 15:54:10
举报
文章被收录于专栏:合集

超参数调优

超参数对模型至关重要。

网格搜索

网格搜索应该是最简单的超参数搜索算法。采用较大的搜索范围和较小的步长。十分耗费计算资源和时间。一般是先设置较大的搜索范围和较大的步长,来寻找全局最优值的可能位置,然后缩小搜索范围得我步长和范围,但是如果目标函数非凸,可能错过全局最优值。

随机搜索

在搜索范围随机抽样,样本足够大,也有很大的概率找到全局最优值,当然,结果没法保证。

贝叶斯优化算法

贝叶斯算法会记录测试过的值,学习目标函数的形状,找到全局最优值提升的参数。 贝叶斯算法,先根据先验分布,假设一个搜索函数,然后每一次使用采样的点测试目标函数时,利用这个信息来更新目标函数的先验分布,最后,算法测试根据后验分布找到全局最值的最大的可能性的点。 贝叶斯算法如果找到了局部最优解,则会在该区域不断地采样,很容易陷入局部最优值。

过拟合和欠拟合

过拟合指模型对于训练数据拟合过当,反应出来就是训练集评价指标表现很好,但是在测试卷或者新数据上面表现一塌糊涂,评价指标明显差于训练集。 欠拟合则是,模型在训练集和预测时表现都不好。

欠拟合无法捕捉数据的特征,过拟合则是模型复杂,把噪声也学习到了模型中,导致模型泛化能力差。

降低过拟合的风险的办法

  1. 获取更多的数据。这是最直接有效的方法,更多的数据能够学习有效的特征,降低噪声的影响。如果找不到多的训练数据,可以自己尝试扩充训练数据。
  2. 降低模型复杂度。数据较少,模型又复杂是产生过拟合的主要因素。比如神经网络中降低网络层数,神经元个数。决策树降低树的深度,进行剪枝。
  3. 正则化方法。给模型的参数机上一定的正则约束,比如将权值得大小加入到损失函数中。以L2为例:$$C=C{0}+\frac{\lambda}{2n}.\sum{i}w_{i}^{2}$$
  4. 集成学习方法。把多模型集成在一起,降低单一模型过拟合的风险,比如Bagging方法。

降低欠拟合风险的方法

  1. 添加新的特征。如因子分解机、梯度提升决 策树、Deep-crossing等都可以用来丰富特征。
  2. 增加模型的复杂度,提高拟合能力。在线性模型中添加高次项,在神经网络模型中增加网络层数或 神经元个数等。
  3. 减小正则化系数。正则化是用来防止过拟合的,但当模型出现欠拟合现象时,则 需要有针对性地减小正则化系数。
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-05-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python与MySQL 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 超参数调优
    • 网格搜索
      • 随机搜索
        • 贝叶斯优化算法
        • 过拟合和欠拟合
          • 降低过拟合的风险的办法
            • 降低欠拟合风险的方法
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档