神经网络如何防止过拟合(总结)

如何防止神经网络过拟合

  • 获取更多的数据
  • 选择正确的模型
  • 将多个模型平均
  • 贝叶斯方法

如何选择正确的模型

正则项

  • L1
  • L2
  • early stoping
  • 输入加噪声
  • 权重加噪声
  • dropout

L1:会将很多权重约束为0,稀疏特征。 L2:会使很多权重得到小值,这样就会使网络大部分工作在线性部分,减弱网络的能力。 early stoping:将权重初始化为小值,这时,只会用到神经网络的线性部分,网络能力比较弱。随着训练时间的增长,会越来越多的用到网络的非线性部分,网络的能力逐渐增强。这时观察验证集错误率,如果持续增加的话,就可以提早停止训练。 输入加噪声:相当于L2 权值加噪声:会使权值取极值

将多个模型平均

将多个模型bias小的模型平均,会得到一个variance小的模型。

贝叶斯方法

对权值进行采样,然后对采样的权值分别预测输出,然后平均输出值。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏有趣的Python

8- 深度学习之神经网络核心原理与算法-卷积神经网络

1786
来自专栏https://www.cnblogs.com/L

【机器学习】--Adaboost从初始到应用

AdaBoost算法和GBDT(Gradient Boost Decision Tree,梯度提升决策树)算法是基于Boosting思想的机器学习算法。在Boo...

832
来自专栏人工智能头条

李理:详解卷积神经网络

2077
来自专栏人工智能

机器学习之——梯度下降算法

机器学习算法大都遵从同样的套路:设定需要学习的参数,通过最优化算法来最小(大)化学习目标,从而得到一组最好的待学习参数。例如,线性回归z=ax+by中,参数就是...

21810
来自专栏技术小站

吴恩达深度学习笔记 2.3 logistic回归损失

损失函数测量预测(p()和期望输出(y()之间的差异。换句话说。损失函数计算单个培训示例的错误。

1301
来自专栏磐创AI技术团队的专栏

新手入门机器学习十大算法

【磐创AI导读】:对于想要了解机器学习的新手,本文为大家总结了数据科学家最经常使用的十大机器学习算法来帮助大家快速入门。如果喜欢我们的文章,欢迎点赞、评论、转发...

621
来自专栏机器学习算法工程师

机器学习中的超参数的选择与交叉验证

1. 超参数有哪些   与超参数对应的是参数。参数是可以在模型中通过BP(反向传播)进行更新学习的参数,例如各种权值矩阵,偏移量等等。超参数是需要进行程序员自己...

3329
来自专栏AI研习社

一文带你了解 Faster R-CNN

Fast R-CNN 有两个网络:建议窗口网络(RPN)生成建议窗口并使用这些窗口检测物体。与Fast R-CNN 的主要区别在于后者使用选择性搜索来生成建议窗...

1143
来自专栏人工智能

吴恩达深度学习课程笔记之卷积神经网络基本操作详解

卷积层 CNN中卷积层的作用: CNN中的卷积层,在很多网络结构中会用conv来表示,也就是convolution的缩写。 卷积层在CNN中扮演着很重要的角色—...

3617
来自专栏开心的学习之路

神经网络体系搭建(一)——神经网络

本篇是神经网络体系搭建的第一篇,解决体系搭建的前四个问题,详见神经网络体系搭建(序) 神经网络 ? 最简单的神经网络 神经网络的定义就不再赘述,直接从最简单的神...

32310

扫码关注云+社区