神经网络如何防止过拟合(总结)

如何防止神经网络过拟合

  • 获取更多的数据
  • 选择正确的模型
  • 将多个模型平均
  • 贝叶斯方法

如何选择正确的模型

正则项

  • L1
  • L2
  • early stoping
  • 输入加噪声
  • 权重加噪声
  • dropout

L1:会将很多权重约束为0,稀疏特征。 L2:会使很多权重得到小值,这样就会使网络大部分工作在线性部分,减弱网络的能力。 early stoping:将权重初始化为小值,这时,只会用到神经网络的线性部分,网络能力比较弱。随着训练时间的增长,会越来越多的用到网络的非线性部分,网络的能力逐渐增强。这时观察验证集错误率,如果持续增加的话,就可以提早停止训练。 输入加噪声:相当于L2 权值加噪声:会使权值取极值

将多个模型平均

将多个模型bias小的模型平均,会得到一个variance小的模型。

贝叶斯方法

对权值进行采样,然后对采样的权值分别预测输出,然后平均输出值。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉

Gan理解必须到位

Gan 因为是2个网络,不方便一起训练,所以才交替迭代训练。 先是判别网络: 假设现在有了生成网络(当然可能不是最好的),那么给一堆随机数组,就会得到一堆假的样...

3397
来自专栏互联网大杂烩

机器学习之梯度下降

梯度下降法是求解无约束最优化问题的一种常用的方法,方法实现简单。 梯度下降背后的思想是:开始时我们随机选择一个参数的组合(θ0,θ1,...,θn),计算代价...

502
来自专栏小鹏的专栏

机器学习模型训练时候tricks

1. 当训练集的效果(准确率)上不去,和贝叶斯估计(人的表现)存在一定差距的时候:(1)增加模型的复杂度。 或者直接多加几层。(2)现在目前效果非常好的一些模型...

1927
来自专栏技术小站

吴恩达深度学习笔记 2.6~2.9 logistic中的梯度下降

之前我们已经了解了Coss Function的定义,它是一个convex,所以我们能找到它的全局最优解,我们可以先可以先随便选取一组w,b,求得刚开始J(w,b...

952
来自专栏机器学习算法与理论

核技巧

关于映射到更高维平面的方法。 对数据进行某种形式的转换,从而得到新的变量来表示数据。从一个特征空间转换到另一个特征空间(特征空间映射)。 其实也就是另外一种距离...

2676
来自专栏大数据风控

R分类算法-决策树算法

决策树(Decision Tree) 它通过对训练样本的学习,并建立分类规则,然后依据分类规则,对新样本数据进行分类预测,属于有监督学习。 优点: 决策...

2439
来自专栏漫漫深度学习路

softmax交叉熵与最大似然估计

其实我们常用的 softmax 交叉熵损失函数,和 最大似然估计是等价的。 首先来看 softmax 交叉熵目标函数是什么样子的: 对于N个样本 [图片] ...

3409
来自专栏生信小驿站

R 集成算法① adaboost

562
来自专栏杂七杂八

matlab自助法实现

方法:以bootstrap sampling为基础,给定包含m个样本的数据集,我们对它进行采样产生数据集D’:每次随机从D中挑选一个样本,将其拷贝放入D’,然后...

3155
来自专栏决胜机器学习

机器学习(八) ——过拟合与正则化

机器学习(八)——过拟合与正则化 (原创内容,转载请注明来源,谢谢) 一、过拟合和欠拟合 1、概念 当针对样本集和特征值,进行预测的时候,推导θ、梯度下降等...

3365

扫码关注云+社区