Tensorflow Batch normalization函数小结

参考文献 stackoverflow 上 tensorflow 实现 BN 的不同函数的解释[1]

最近在运行程序时需要使用到 Batch normalization 方法，虽然网上有很多资料，但是说法各异而且没有完全准确的，很多使用了 Tensorflow 中 TF.slim 高层封装，自己不是很明白。现在我将自己搜集的资料进行整理，便于以后查阅。

关于 Batch normalization[2]

Tensorflow 中实现 BN 算法的各种函数

• 在 tensorflow 中给出了几种实现 batch-norm 的方法:
• tf.nn.batch_normalization 是一个低级的操作函数，调用者需要自己处理张量的平均值和方差。
• tf.nn.fused_batch_norm 是另一个低级的操作函数，和前者十分相似。不同之处在于它针对四维输入张量进行了优化，这是卷积神经网络中的常见情况。而前者 tf.nn.batch_normalization 则接受任何等级大于 1 的张量。
• tf.layers.batch_normalization 是对先前操作的高级包装。最大的不同在于它负责创建和管理运行张量的均值和方差，并尽可能地调用快速融合运算。通常，这个函数应该是你的默认选择。
• tf.contrib.layers.batch_norm 是 batch norm 的早期实现，其升级的核心 API 版本为（tf.layers.batch_normalization）。不推荐使用它，因为它可能会在未来的版本中丢失。
• tf.nn.batch_norm_with_global_normalization 是另一个被弃用的操作，现在这个函数会委托给 tf.nn.batch_normalization 执行，在未来这个函数会被放弃。
• keras.layers.BatchNormalization 是 BN 算法的 Keras 实现，这个函数在后端会调用 Tensorflow 中的 tf.nn.batch_normalization 函数。

参考资料

[1]stackoverflow上tensorflow实现BN的不同函数的解释: https://stackoverflow.com/questions/48001759/what-is-right-batch-normalization-function-in-tensorflow/48006315#48006315

[2]关于Batch normalization: http://blog.csdn.net/u013555719/article/details/78388269