深度神经网络反向传播(BP)算法应用技巧

深度神经网络学习算法的核心是误差反向传播(error back-backpropagation)。虽然其本质就是微积分的链式法则，但面对深度神经网络的某一具体层，准确的应用反向传播算法计算参数的梯度仍是一个不小的挑战。本文以批量规范化(batch normalization)层为例，介绍应用误差反向传播算法时的一些技巧。

由于本文公式较多，因此作者将全文写成一个pdf，见附件。