深度学习: 参数初始化

Introduction

好的开始是成功的一半。 为了让你的模型跑赢在起跑线 ε=ε=ε=(~ ̄▽ ̄)~ ,请慎重对待参数初始化。

API

TensorFlow中自带关于参数初始化的API,具体使用见 tensorflow: variable初始化

全零初始化 (Zero Initialization)

将网络中 所有参数 初始化为 0 。

如果所有的参数都是0,那么所有神经元的输出都将是相同的,那在back propagation的时候,gradient相同,weight update也相同。同一层内所有神经元的行为也是相同的。

这显然不可接受。

随机初始化 (Random Initialization)

将参数值(通过高斯分布或均匀分布)随机初始化为 接近0的 一个很小的随机数(有正有负),从而使对称失效。

W = tf.Variable(np.random.randn(node_in, node_out)) * 0.001

Note

  • node_innode_out 表示 输入神经元个数输出神经元个数
  • 其中,np.random.randn(node_in, node_out) 输出 服从标准正态分布node_in × node_out矩阵;
  • 控制因子:0.001 ,保证参数期望接近0;
  • 一旦随机分布选择不当,就会导致网络优化陷入困境。

Xavier初始化 (Xavier Initialization)

W = ( tf.Variable(np.random.randn(node_in, node_out)) / np.sqrt(node_in) ) * 0.001

Note

  • 加上了 方差规范化/ np.sqrt(node_in) ,维持了 输入、输出数据分布方差一致性,从而更快地收敛。

He初始化 (He Initialization)

W = ( tf.Variable(np.random.randn(node_in, node_out)) / np.sqrt(node_in/2) ) * 0.001

Note

  • 考虑到 非线性映射 (relu) 函数 的影响, 将 方差规范化分母 修改为 / np.sqrt(node_in/2) ,能让Relu网络更快地收敛。

迁移学习初始化 (Pre-train Initialization)

预训练模型的参数 作为新任务上的初始化参数。

数据敏感初始化

根据自身任务数据集而特别定制的参数初始化方法。


[1] 聊一聊深度学习的weight initialization [2] 深度学习之参数初始化策略

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏奇点大数据

再免费多看一章--knn

算法很简单,对待分类样本实施近邻投票。其中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别。 ? 在《白话大数据与机器学习》里使用了sklea...

3467
来自专栏量化投资与机器学习

深度学习Matlab工具箱代码注释之cnnbp.m

%%========================================================================= %...

2305
来自专栏技术随笔

深度学习 — 反向传播(BP)理论推导"BP" Math Principle前向传播反向传播应用实例Reference

5106
来自专栏杨熹的专栏

详解 LSTM

今天的内容有: LSTM 思路 LSTM 的前向计算 LSTM 的反向传播 关于调参 ---- LSTM 长短时记忆网络(Long Short Term Mem...

4865
来自专栏小小挖掘机

听说GAN很高大上,其实就这么简单

本文使用的tensorflow版本:1.4 tensorflow安装:pip install tensorflow 1、先来目睹一下效果吧 这篇文章讲解了如何使...

5834
来自专栏fangyangcoder

数字图像处理之平滑滤波

                                         by方阳

1432
来自专栏大数据挖掘DT机器学习

机器学习-R-特征选择

特征选择是实用机器学习的重要一步,一般数据集都带有太多的特征用于模型构建,如何找出有用特征是值得关注的内容。 1. Feature selection: Al...

5358
来自专栏青青天空树

趣味问题:画图(c++实现)

描述:在一个定义了直角坐标系的纸上,画一个(x1,y1)到(x2,y2)的矩形指将横坐标范围从x1到x2,纵坐标范围从y1到y2之间的区域涂上颜色。下图给出了一...

1104
来自专栏机器学习算法工程师

趣谈深度学习核心----激活函数

作者:詹晓辉 编辑:王抒伟 当你在苦扒图像处理方法得时候 他在用深度学习 当你在干瞪切片像素得时候 他在用深度学习 当你在愁思小偷是谁得时候 他在用深度学习 当...

3787
来自专栏机器学习算法工程师

干货|(DL~2)一看就懂的卷积神经网络

文章来自:https://leonardoaraujosantos.gitbooks.io 作者:Leonardo Araujo dos Santos

1051

扫码关注云+社区

领取腾讯云代金券