对梯度回传的理解

       神经网络的每一层可以看做是使用一个函数对变量的一次计算。在微分中链式法则用于计算复合函数的导数。反向传播时一种计算链式法则的算法,使用高效的特定运算顺序。

       设x是实数,f和g是从实数映射到实数的函数。假设y=g(x)并且z=f(g(x))=f(y)。那么链式法则说的是

可以将这种标量情况进行扩展。假设x

,y

,g是从

的映射,f是从

到R的映射。如果y=g(x)并且z=f(y),那么

 使用向量记法,可以等价地写成

这里

是g的nxm的Jacobian矩阵。

从这里我们看到,变量x的梯度可以通过Jacobian矩阵

和梯度

乘积来得到。反向传播算法由由图中每一个这样的Jacobian梯度的乘积操作所组成。通常我们将反向传播算法应用于任意维度的张量,而不仅仅是用于向量。从概念上讲,这与使用向量的反向传播完全相同。唯一区别的是如何将数字排成网络以形成张量。可以想象,在运行反向传播之前,将每个张量变平为一个向量,计算一个向量值梯度,然后将该梯度重新构造成一个张量。从这种重新排列的观点上看,反向传播仍然只是将Jacobian乘以梯度。

为了表示值z关于张量X的梯度,记为

,就像X是张量一样。X的索引现在有多个坐标------例如,一个3维的张量由3个坐标索引。可以通过使用单个变量i来表示完整的索引元组,从而完全抽象出来。对所有可能的元组i,

给出

。这与向量中索引的方式完全一致,

给出

。使用这种记法,可以写出适用于张量的链式法则。如果Y=g(X)并且z=f(Y),那么

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券