跬步神经网络1-基本模型解析

导语: 最近开始看NN,很多疑问。微积分什么的早丢了,边看边查,记录备忘。 本篇主要是针对最基本的网络模型,解释反向传播(backpropagation)原理。

目录 跬步神经网络1-基本模型解析 跬步神经网络2-C++简单实现

跬步神经网络3-MNIST手写库初步识别

整个神经网络可以理解成变量是所有 w、b的损失函数 L,L(w1,b1,w2,b2,w3,b3…….)

为求L的极小值,使用梯度下降的方法

对每个变量求偏导,算出 **Δw、Δb

更新 w = w - lr Δw    b = b - lr Δb     lr 是步长(learning rate)

激活函数、损失函数、网络结构、训练方法、连接方式、填充方式,都有很多选择,每个选择都会影响最终结果,要达到最优需要逐步积累经验

先从最简单的开始。。。。。。

需要复习的知识点,导数和偏导数、链式法则、梯度下降

导数:二维几何场景下,可以理解为曲线上某点的斜率,在求函数极小值的时候,可以根据斜率确定下一步 X 该增大还是减小

偏导数:存在多个变量的情况下,x的偏导就是假设其他变量都是常数,然后对x求导

链式法则:借一张图

梯度下降:求导或偏导得到斜率确定变化值,更新变量得到新的值,重复上面的操作,直到斜率为0或小于设置的某个阈值(比如0.000001)

x = x - lrΔx                   y = y - lrΔy          lr 是步长

NN网络举个栗子:

神经元:

激活函数、损失函数:

网络结构:

根据上面的网络结构以及定义,可以得到:

为了更新 W24、W25,需要求 E关于W24、W25的偏导:

 计算W12偏导比较麻烦一些

 根据上面的结果,总结下面的公式:

不同的激活函数和损失函数,求导的方程不一样。

上面的例子使用 logistic函数和最小方差。

下一步打算根据上面的公式,用c++写个小程序动手跑一遍,加深理解,尝试解决简单问题,

然后熟悉成熟框架。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

基于TensorFlow生成抽象纹理

来源:otoro 编译:weakish 编者按:Google Brain机器学习开发者hardmu使用TensorFlow,基于CPPN网络生成了许多有趣的高分...

5118
来自专栏机器学习、深度学习

语义分割--End-to-End Instance Segmentation with Recurrent Attention

End-to-End Instance Segmentation with Recurrent Attention CVPR2017 https://g...

2398
来自专栏人工智能LeadAI

数据预处理 | 机器学习之特征工程

作者:苏小保(jacksu) 华为工程师 擅长分布式系统、大数据、机器学习。github地址:https://github.com/jacksu 通过特征提取,...

3659
来自专栏小小挖掘机

推荐系统遇上深度学习(三)--DeepFM模型理论和实践

推荐系统遇上深度学习系列: 推荐系统遇上深度学习(一)--FM模型理论和实践 推荐系统遇上深度学习(二)--FFM模型理论和实践 1、背景 特征组合的挑战...

4287
来自专栏Pytorch实践

Pytorch实现Logistic回归二分类

? 摘要:本文主要介绍使用深度学习框架Pytorch实现简单的Logistic回归模型,进而实现简单的分类问题。 一.逻辑回归简述 逻辑回归实质上是线性回...

72314
来自专栏技术与生活

从一条曲线谈损失函数优化方法

找到生成最小值的一组参数的算法被称为优化算法。我们发现随着算法复杂度的增加,则算法倾向于更高效地逼近最小值。我们将在这篇文章中讨论以下算法:

582
来自专栏人工智能

【机器学习】彻底搞懂CNN

作者:水奈樾人工智能爱好者 博客专栏:http://www.cnblogs.com/rucwxb/ 上世纪科学家们发现了几个视觉神经特点,视神经具有局部感受野,...

47510
来自专栏人工智能LeadAI

layer定义 | 深度学习caffe框架

首先让我们回顾一下caffe的代码层次: blob,layer, net和solver.

731
来自专栏有趣的Python

18- OpenCV+TensorFlow 入门人工智能图像处理-CNN识别手写数字

994
来自专栏机器学习算法与Python学习

梯度检验与高级优化

梯度检验与高级优化 导读 神经网络 反向传播算法 目录 关键词 梯度检验与高级优化 1 关键词 缺位错误 off-by-one error 偏置项 bias ...

2729

扫码关注云+社区