神经网络如何防止过拟合(总结)

如何防止神经网络过拟合

  • 获取更多的数据
  • 选择正确的模型
  • 将多个模型平均
  • 贝叶斯方法

如何选择正确的模型

正则项

  • L1
  • L2
  • early stoping
  • 输入加噪声
  • 权重加噪声
  • dropout

L1:会将很多权重约束为0,稀疏特征。 L2:会使很多权重得到小值,这样就会使网络大部分工作在线性部分,减弱网络的能力。 early stoping:将权重初始化为小值,这时,只会用到神经网络的线性部分,网络能力比较弱。随着训练时间的增长,会越来越多的用到网络的非线性部分,网络的能力逐渐增强。这时观察验证集错误率,如果持续增加的话,就可以提早停止训练。 输入加噪声:相当于L2 权值加噪声:会使权值取极值

将多个模型平均

将多个模型bias小的模型平均,会得到一个variance小的模型。

贝叶斯方法

对权值进行采样,然后对采样的权值分别预测输出,然后平均输出值。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏决胜机器学习

深层神经网络参数调优(三) ——mini-batch梯度下降与指数加权平均

深层神经网络参数调优(三)——mini-batch梯度下降与指数加权平均 (原创内容,转载请注明来源,谢谢) 一、mini-batch梯度下降 1、概述 之前...

3383
来自专栏大数据挖掘DT机器学习

一种面向高维数据的集成聚类算法

一种面向高维数据的集成聚类算法 聚类集成已经成为机器学习的研究热点,它对原始数据集的多个聚类结果进行学习和集成,得到一个能较好地反映数据集内在结构的数据划分。...

3047
来自专栏目标检测和深度学习

全连接网络到卷积神经网络逐步推导(组图无公式)

摘要: 在图像分析中,卷积神经网络(Convolutional Neural Networks, CNN)在时间和内存方面优于全连接网络(Full Connec...

992
来自专栏超然的博客

Context-Aware Network Embedding for Relation Modeling

论文:http://www.aclweb.org/anthology/P17-1158

481
来自专栏AI科技大本营的专栏

干货 | 上手机器学习,从搞懂这十大经典算法开始

翻译 | AI科技大本营(rgznai100) 参与 | 林椿眄 编辑 | 波波,Donna 在机器学习领域,“没有免费的午餐”是一个不变的定理。简而言之,没有...

34610
来自专栏ATYUN订阅号

在不同的任务中,我应该选择哪种机器学习算法?

当开始研究数据科学时,我经常面临一个问题,那就是为我的特定问题选择最合适的算法。在本文中,我将尝试解释一些基本概念,并在不同的任务中使用不同类型的机器学习算法。...

3103
来自专栏xingoo, 一个梦想做发明家的程序员

吴恩达机器学习笔记 —— 14 无监督学习

还有一个算法在这次的课程中没有提到,就是kmeans++,它与上面的kmeans不同的是,选择中心点是首先随机选择一个,然后选择一个离当前最远的作为下一个中心点...

620
来自专栏算法channel

神经网络精炼入门总结:出现缘由,多层感知机模型,前向传播,反向传播,避免局部最小

在本文中,我将初步介绍神经网络有关的概念和推导,本文是后续深度学习的入门,仅对神经网络做初步理解,后续文章中会继续进行学习。

720
来自专栏AI研习社

大白话解释模型产生过拟合的原因!

今天郭江师兄在实验室讲解了全体机器学习会第一章的知识,大家讨论了一下过拟合的知识,这里我根据自己的理解,整理了一下原因,力求同最通俗的语言来描述,可能不是太严谨...

3175
来自专栏机器之心

入门 | 简述迁移学习在深度学习中的应用

3507

扫码关注云+社区