明天！北航博士生黄雷分享标准化技术在训练深度神经网络中的应用

分享背景

标准化技术目前已被广泛应用于各种深度神经网络的训练，如著名的批量标准化技术 (Batch Normalization, BN) 基本上是训练深度卷积网络的标准配置。装配有 BN 模块的神经网络模型通常比原始模型更容易训练，且通常表现出更好的泛化能力。 本次 GAIR 大讲堂报告人将阐述标准化技术应用于训练深度神经网络中的主要动机以及介绍一些主流的标准化技术，除此之外报告人也将讲解其沿着这个方向发表在 AAAI 2018 的论文《Orthogonal Weight Normalization: Solution to Optimization over Multiple Dependent Stiefel Manifolds in Deep Neural Networks》。

分享题目

标准化技术在训练深度神经网络中的应用

分享提纲

1.标准化技术应用于深度神经网络训练的主要动机及相关方法介绍。

a) 标准化技术加速神经网络训练的主要动机

b) 主要的标准化方法介绍

2.正交权重标准化技术：在通用的前向神经网络中学习正交过滤器组。

a) 在深度神经网络中学习正交过滤器组的主要动机

b) 基于重参数化方法求解多个依赖的Stiefel流形优化问题

c) 实验结果介绍

分享嘉宾

黄雷，北京航空航天大学计算机学院博士，曾于 2015 年 10 月至 2016 年 10 月在密歇根大学安娜堡分校 Vision & Learning 实验室做关于深度学习模型优化方面的研究。主要的研究领域为深度神经网络中标准化技术，半监督学习，非参主动学习及相关方法在计算机视觉和多媒体领域中的应用。目前已发表学术论文十余篇，包括 CVPR，ICCV 和 AAAI 等。

分享时间

北京时间 4 月 3 日（周二）晚上 8:00

参与方式