从零开始,一步一步学习caffe的使用,期间贯穿深度学习和调参的相关知识!
在这里,我们先按照周志华《机器学习》的反向传播理解思路进行公式推导,对后面深入理解深度神经网络中的反向传播预热!
计算图的三要素:节点,连接线,操作
举例说明计算图的表示方式
我们通过计算图结合链式法则举例说明反向传播在计算上的优势:
有很多人会将反向传播与梯度下降算法混为一谈,但其实两者是可以分离的,我们独立出两个概念来讨论问题会使得学习的重点更加清晰!
反向传播与梯度下降总结图示:
李宏毅机器学习课程 Deep Learning Book Principles of training multi-layer neural network using backpropagation(http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html)