前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >神经网络模型求解思路

神经网络模型求解思路

原创
作者头像
人工智能的秘密
发布2017-12-20 15:33:10
6360
发布2017-12-20 15:33:10
举报
文章被收录于专栏:人工智能的秘密

神经网络模型求解思路总结

神经网络模型,mini_batch 批梯度下降(SGD)求解权重参数的原理见:深度学习|神经网络模型简介和梯度下降求解,这篇文章中用一个小球下坡,解释了各个节点的权重参数和偏置量的迭代公式:

在以上迭代公式中,需要求解两个导数:一是成本函数对权重的偏导,二是成本函数对偏置量的偏导,这是利用神经网络模型分类求解的重要求解步骤。

如何求解这两个偏导呢? 一般,用反向传播算法(BP算法)求解,一共用到了4个公式:首先,求解输出层中每个神经元的损失误差值,然后,反向传播求解前面每层的损失误差值,最后,求得每个节点的权重参数,偏置参数,这四个公式分别为:

这样,神经网络求解模型的所有变量都可以求出了,关于反向传播求参数的文章,请参考:深度学习|反向传播算法(BP)原理推导及代码实现

基于以上,基于神经网络模型的手写字分类的整体思路可以参考:深度学习|神经网络模型实现手写字分类求解思路,里面包括了手写字三层神经网络求解模型,和核心代码的实现。

反向传播算法扩展

以上这些部分中,技术性最强的还是反向传播算法,大家可以再参考这篇文章,是分析如何反向传播的:

文章标题:Calculus on Computational Graphs: Backpropagation 文章地址:http://colah.github.io/posts/2015-08-Backprop/

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档