深度神经网络学习算法的核心是误差反向传播(error back-backpropagation)。虽然其本质就是微积分的链式法则,但面对深度神经网络的某一具体层,准确的应用反向传播算法计算参数的梯度仍是一个不小的挑战。本文以批量规范化(batch normalization)层为例,介绍应用误差反向传播算法时的一些技巧。
由于本文公式较多,因此作者将全文写成一个pdf,见附件。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。