创建一些这样的网络
Conv(1-1)-Conv(1-2)-Loss1-Conv(2-1)-Conv(2-2)-Loss2
当我使用caffe训练这个网络时,它是如何工作的?使用Loss2更新Conv(2-1)和Conv(2-2)。我可以拿到它。
但是如何更新Conv(1-1)和Conv(1-2)中的权重?只使用Loss1?或者同时使用Conv(2-1)的梯度和Loss1的梯度?
发布于 2017-06-18 02:10:29
Caffe (像其他基于SGD的求解器一样)使用链式规则来计算导数。净损失是两个损失层的总和,估计的梯度是总损失的梯度。loss1 w.r.t Conv2的参数的导数为零,因此loss1对Conv2的参数的更新没有影响,正如预期的那样。
https://stackoverflow.com/questions/44601833
复制相似问题