模型调优没效果? 不妨试试Batch Normalization!

今儿调模型大佬又给支了一招,叫Batch Normalization(下面简称BN),虽然还没有深刻理解这玩意是什么,但是是真的挺有效的,哈哈。因此本文只是总结一下BN的具体操作流程以及如何用tensorflow来实现BN,对于BN更深层次的理解,为什么要BN,BN是否真的有效大家可以参考知乎上的回答:https://www.zhihu.com/question/38102762

1、BN的流程

传统的神经网络,只是在将样本x进入到输入层之前对x进行0-1标准化处理(减均值,除标准差),以降低样本间的差异性,如下图所示:。

BN是在此基础上,不仅仅只对输入层的输入数据x进行标准化,还对每个隐藏层的输入进行标准化,如下图所示:

可以看到,由标准化的x得到第二层的输入h1的时候,经历了如下的步骤:

1、第一层的权重项w 和 输入x想成,得到s1 2、对s1进行0-1均值方差标准化,得到s2 3、设置两个参数γ 和 β ,计算γ * s1 + β 得到s3。注意,这里的γ 和 β是网络要学习的变量。 4、将s3经过激活函数激活之后得到h1

哎,BN的流程原来是这样的。。早上的时候看的太快,以为就是对每一层的输入做一个0-1标准化,再加一个γ 和 β呢。唉,得好好反思反思,明天罚自己减一个鸡腿。废话不多说,我们来看看实现吧。

2、tensorflow实现BN

tensorflow实现BN是很简单的,只需要两个函数就可以。

tf.nn.moments

该函数的样例如下:

batch_mean, batch_var = tf.nn.moments(data, [0])

可以看到,我们输入的第一个参数是我们的data,一定要记住,这个data是w*x之后的。第二个参数是我们要在哪一维做标准化,如果是二维数据,通常每一列代表的是一个特征,因此我们一般选择axis=[0],如果你想对所有的数据做一个标准化,那么axis=[0,1]。

tf.nn.batch_normalization

该函数的样例如下:

tf.nn.batch_normalization(
    data,
    mean,
    variance,
    offset,
    scale,
    variance_epsilon,
    name=None
)

我们需要输入我们的data,即w*x,然后还有刚刚用moments函数得到的均值和方差,scala和offset即前文提到的的γ 和 β ,这是两个Variable。

完整实例

最后来看一个完整实例吧:

batch_mean, batch_var = tf.nn.moments(data, [0])
scale2 = tf.Variable(tf.ones([units]))
beta2 = tf.Variable(tf.zeros([units]))
data = tf.nn.batch_normalization(data, batch_mean, batch_var, beta2, scale2,variance_epsilon=1e-3)

参考资料:https://blog.csdn.net/whitesilence/article/details/75667002

原文发布于微信公众号 - 小小挖掘机(wAIsjwj)

原文发表时间:2018-04-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯大讲堂的专栏

Mariana CNN 并行框架与图像识别

本文是腾讯深度学习系列文章的第三篇,聚焦于腾讯深度学习平台Mariana中深度卷积神经网络Deep CNNs的多GPU模型并行和数据并行框架。 将深度卷积神经网...

2997
来自专栏机器之心

训练的神经网络不工作?一文带你跨过这37个坑

选自Medium 作者:Slav Ivanov 机器之心编译 参与:黄小天、Smith 近日,Slav Ivanov 在 Medium 上发表了一篇题为《37 ...

34610
来自专栏人工智能头条

美团网内部分享:机器学习中的数据清洗与特征处理实践

2483
来自专栏Petrichor的专栏

深度学习: Nonlinear (非线性)

2162
来自专栏月色的自留地

从锅炉工到AI专家(6)

1418
来自专栏量子位

调试神经网络让人抓狂?这有16条锦囊妙计送给你

问耕 编译整理 量子位 出品 | 公众号 QbitAI ? 这一篇的作者还是Andrey Nikishaev,一位创业者兼开发者。量子位前两天搬运了他的另外一篇...

2847
来自专栏机器之心

入门 | 深度学习模型的简单优化技巧

以下是我与同事和学生就如何优化深度模型进行的对话、消息和辩论的摘要。如果你发现了有影响力的技巧,请分享。

1300
来自专栏AI研习社

CNN+TensorFlow 就能教机器人作曲!

今天想来看看 AI 是怎样作曲的。 本文会用 TensorFlow 来写一个音乐生成器。 当你对一个机器人说:我想要一种能够表达出希望和奇迹的歌曲时,发生了什么...

4607
来自专栏大数据挖掘DT机器学习

完整的R语言预测建模实例-从数据清理到建模预测

本文使用Kaggle上的一个公开数据集,从数据导入,清理整理一直介绍到最后数据多个算法建模,交叉验证以及多个预测模型的比较全过程,注重在实际数据建模过程中的实...

7855
来自专栏机器之心

资源 | 神经网络调试手册:从数据集与神经网络说起

选自Hackernoon 作者:Andrey Nikishaev 机器之心编译 参与:黄小天 近日,hackernoon 上出现了一篇题为《How to deb...

35214

扫码关注云+社区

领取腾讯云代金券