神经网络模型求解思路总结

《实例》阐述算法，通俗易懂，助您对算法的理解达到一个新高度。包含但不限于：经典算法，机器学习，深度学习，LeetCode 题解，Kaggle 实战。期待您的到来！

01

—

神经网络模型求解思路总结

神经网络模型，mini_batch批梯度下降（SGD）求解权重参数的原理见：深度学习神经网络模型简介和梯度下降求解，这篇文章中用一个小球下坡，解释了各个节点的权重参数和偏置量的迭代公式：

在以上迭代公式中，需要求解两个导数：一是成本函数对权重的偏导，二是成本函数对偏置量的偏导，这是利用神经网络模型分类求解的重要求解步骤。

如何求解这两个偏导呢？ 一般，用反向传播算法（BP算法）求解，一共用到了4个公式：首先，求解输出层中每个神经元的损失误差值，然后，反向传播求解前面每层的损失误差值，最后，求得每个节点的权重参数，偏置参数，这四个公式分别为：

这样，神经网络求解模型的所有变量都可以求出了，关于反向传播求参数的文章，请参考：深度学习反向传播算法（BP）原理推导及代码实现。

基于以上，基于神经网络模型的手写字分类的整体思路可以参考：深度学习神经网络模型实现手写字分类求解思路，里面包括了手写字三层神经网络求解模型，和核心代码的实现。

02

—

反向传播算法扩展

以上这些部分中，技术性最强的还是反向传播算法，大家可以再参考这篇文章，

Calculus on Computational Graphs: Backpropagation

http://colah.github.io/posts/2015-08-Backprop/

关于这篇文章，是如何分析反向传播的，以后也会分析，推送笔记。

今天先对这几天的推送做个简单总结吧，大家感兴趣的，回过头来也按照这个思路温习一遍，谢谢大家的阅读。

请记住：每天一小步，日积月累一大步！

《实例》阐述算法，通俗易懂，助您对算法的理解达到一个新高度。包含但不限于：经典算法，机器学习，深度学习，LeetCode 题解，Kaggle 实战。期待您的到来！