专栏首页杂七杂八神经网络训练细节part1(下)

神经网络训练细节part1(下)

权重初始化

  • small random numbers(gaussian with zero mean and 1e-2 standard deviation) w = 0.01*np.random.randn(D,H),0.01是一个系数,可以调整 但是这种方法容易出现梯度弥散的问题(梯度的量级会变得越来越小),更好的一种初始化方式是:w=np.random.randn(fan_in,fan_out)/np.sqrt(fan_in),这种方法仅限于使用tanh激活函数,如果使用relu函数,则可以设置为w=np.random.randn(fan_in,fan_out)/np.sqrt(fan_in/2)

批数据规范化(Batch Normalization)

学习率选择

学习率的选择通过先用少部分数据来进行测试,选择一个较好的学习速率。选择的方式可以为在某个范围内随机取值,观察样本的准确率

总结

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • numpy中random模块使用

    在python数据分析的学习和应用过程中,经常需要用到numpy的随机函数,下面我们学习一下具体的使用,本文着重说明各个分布随机数的生成。 numpy.rand...

    听城
  • numpy中的乘法(*,dot)

    numpy中数据表示有数组和矩阵两种数据类型,他们的乘法计算也是多种形式,下面我们主要来说一下numpy中的乘法计算 numpy.ndarray 运算符 ...

    听城
  • Matplotlib 绘2D图

    Matplotlib 是一个非常简单而又完善的开源绘图库。那么它到底有多简单呢? 基本知识 首先官方文档奉上 下面,我们通过 3 行代码绘制一张简单的折线图...

    听城
  • 今天我过生日,我来聊聊我这二十多年来的IT经历

    最近由于需要找一封很久之前发出去的邮件,偶然在发件箱里翻到了我大概14年前写的一段代码,今天借着这30岁生日这个特殊的日子,我想跟大家聊一聊我所经...

    黄鸿波
  • 基于HTML5实现3D热图Heatmap应用

    Heatmap热图通过众多数据点信息,汇聚成直观可视化颜色效果,热图已广泛被应用于气象预报、医疗成像、机房温度监控等行业,甚至应用于竞技体育领域的数据分析。 h...

    HT for Web
  • 数感一分钟06 | 快速抢答

    用户7378374
  • 基于HTML5实现3D热图Heatmap应用

    HT_hightopo
  • 基于HTML5实现的Heatmap热图3D应用

    HT_hightopo
  • 基于HTML5实现的Heatmap热图3D应用

    Heatmap热图通过众多数据点信息,汇聚成直观可视化颜色效果,热图已广泛被应用于气象预报、医疗成像、机房温度监控等行业,甚至应用于竞技体育领域的数据分析。 ?...

    HT for Web
  • Jstorm2.1.1集群安装

    我是攻城师

扫码关注云+社区

领取腾讯云代金券