北航博士生黄雷：标准化技术在训练深度神经网络中的应用分享总结

文章来源：企鹅号 - 柴叔说

雷锋网AI科技评论按：标准化技术目前已被广泛应用于各种深度神经网络的训练，如著名的批量标准化技术 (Batch Normalization, BN) 基本上是训练深度卷积网络的标准配置。装配有 BN 模块的神经网络模型通常比原始模型更容易训练，且通常表现出更好的泛化能力。

近期，在雷锋网 GAIR 大讲堂上，来自北京航空航天大学的博士生黄雷同学将阐述标准化技术应用于训练深度神经网络中的主要动机以及介绍一些主流的标准化技术，除此之外报告人也将讲解其沿着这个方向发表在 AAAI 2018 的论文《Orthogonal Weight Normalization: Solution to Optimization over Multiple Dependent Stiefel Manifolds in Deep Neural Networks》。视频回放地址：。