对梯度回传的理解

神经网络的每一层可以看做是使用一个函数对变量的一次计算。在微分中链式法则用于计算复合函数的导数。反向传播时一种计算链式法则的算法，使用高效的特定运算顺序。

       设x是实数，f和g是从实数映射到实数的函数。假设y=g(x)并且z=f(g(x))=f(y)。那么链式法则说的是

\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}

可以将这种标量情况进行扩展。假设x

\in

R^m

，y

\in

R^n

，g是从

R^m

到

R^n

的映射，f是从

R^n

到R的映射。如果y=g(x)并且z=f(y)，那么

\frac{dz}{dx_i}=\sum_j\frac{dz}{dy_i}\frac{dy}{dx_i}

 使用向量记法，可以等价地写成

\bigtriangledown_x z = (\frac{\partial y}{\partial x})^T \bigtriangledown_yz

这里

\frac{\partial y}{\partial x}

是g的nxm的Jacobian矩阵。

从这里我们看到，变量x的梯度可以通过Jacobian矩阵

\frac{\partial y}{\partial x}

和梯度

\bigtriangledown_yz

乘积来得到。反向传播算法由由图中每一个这样的Jacobian梯度的乘积操作所组成。通常我们将反向传播算法应用于任意维度的张量，而不仅仅是用于向量。从概念上讲，这与使用向量的反向传播完全相同。唯一区别的是如何将数字排成网络以形成张量。可以想象，在运行反向传播之前，将每个张量变平为一个向量，计算一个向量值梯度，然后将该梯度重新构造成一个张量。从这种重新排列的观点上看，反向传播仍然只是将Jacobian乘以梯度。

为了表示值z关于张量X的梯度，记为

\triangledown _X z

，就像X是张量一样。X的索引现在有多个坐标------例如，一个3维的张量由3个坐标索引。可以通过使用单个变量i来表示完整的索引元组，从而完全抽象出来。对所有可能的元组i，

\triangledown _X z_i

给出

\frac{\partial z}{\partial X_i}

。这与向量中索引的方式完全一致，

(\triangledown _x z)_i

给出

\frac{\partial z}{\partial X_i}

。使用这种记法，可以写出适用于张量的链式法则。如果Y=g(X)并且z=f(Y)，那么

\triangledown _x z =\sum_j(\triangledown _X Y_j)\frac{\partial z}{\partial Y_j}