授课内容涵盖了前馈神经网络的基本概念。内容分为两部分。在第一部分,将讲解神经网络的正向传播和反向传播。特别是我将讨论前馈网络的参数设定,最常见的单元类型,神经网络的容量和如何计算用神经网络进行分类的训练损失的梯度( gradients of the training loss )。在第二部分,我将讨论对于通过梯度下降法( gradient descent )训练神经网络是必需的最终组件,然后讨论如今普遍用于训练深度神经网络的最新观点。因此我将讲解不同类型的梯度下降法算法,dropout ,batch normalization 和无监督预训练。
视频和ppt:http://videolectures.net/deeplearning2016_montreal/