跟我学CS231n（1）：Introduction to Neural Network

Hello，大家好！我是MPIG2018级研究生葛明进。今天我要给大家分享的是跟我学CS231n的第一讲：Introduction to Neural Network.CS231n是深度学习与计算机视觉领域的经典入门课程之一，它是由斯坦福大学大名鼎鼎的李飞飞带头的，在学界广受推崇。今天我们首先来了解一下神经网络的一些基础知识。

我们先预览一下本章讲解的主要内容：

（1）神经单元与神经网络

（2）激活函数

（3）反向传播算法

一. 神经单元与神经网络

如下图所示左上角是一个生物神经元，右下角是一个人工神经元。人工神经元是受生物神经元的启发而来的。神经网络其实就是按照一定规则连接起来的多个神经元。最左边的层叫做输入层，负责接收输入数据；最右边的层叫输出层，我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层，因为它们对于外部来说是不可见的。

二. 激活函数

激活函数的作用是增加神经网络模型的非线性因素，使得神经网络可以更好的解决较为复杂的问题。常用的激活函数有：sigmoid、tanh、relu。

三. 反向传播算法

反向传播主要使用误差后向传播和梯度下降对网络各层调整权重。误差反向传播是将误差信号从输出层反向传播至输入层的过程，通过比较输出信号和期望信号得到的误差信号，利用链式求导法则将误差信号逐层向前传播得到各层误差信号，根据各层误差信号调整各层权重和相关参数。

对于神经网络的学习过程，大致分为如下的几步：

初始化参数，包括权重、偏置、网络层结构，激活函数等等

循环计算

• 正向传播，计算误差

•反向传播，调整参数

返回最终的神经网络模型

关于反向传播公式的推导以及其他详细内容，请观看下面的Presentation中的详细讲解。