反向传播与它的直观理解

为了感谢大神，我是跪在电脑前fork的。

问题描述与动机：

• 大家都知道的，其实我们就是在给定的图像像素向量x和对应的函数f(x)，然后我们希望能够计算f在x上的梯度(∇f(x))
• 我们之所以想解决这个问题，是因为在神经网络中，f对应损失函数L，而输入x则对应训练样本数据和神经网络的权重W。举一个特例，损失函数可以是SVM loss function，而输入则对应样本数据(xi,yi),i=1…N和权重W以及偏移项b。需要注意的一点是，在我们的场景下，通常我们认为训练数据是给定的，而权重是我们可以控制的变量。因此我们为了更新权重的等参数，使得损失函数值最小，我们通常是计算f对参数W,b的梯度。不过我们计算其在xi上的梯度有时候也是有用的，比如如果我们想做可视化以及了解神经网络在『做什么』的时候。

直观地理解，反向传播可以看做图解求导的链式法则。 

最后我们用一组图来说明实际优化过程中的正向传播与反向残差传播： 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18