跬步神经网络1-基本模型解析

导语: 最近开始看NN,很多疑问。微积分什么的早丢了,边看边查,记录备忘。 本篇主要是针对最基本的网络模型,解释反向传播(backpropagation)原理。

目录 跬步神经网络1-基本模型解析 跬步神经网络2-C++简单实现

跬步神经网络3-MNIST手写库初步识别

整个神经网络可以理解成变量是所有 w、b的损失函数 L,L(w1,b1,w2,b2,w3,b3…….)

为求L的极小值,使用梯度下降的方法

对每个变量求偏导,算出 **Δw、Δb

更新 w = w - lr Δw    b = b - lr Δb     lr 是步长(learning rate)

激活函数、损失函数、网络结构、训练方法、连接方式、填充方式,都有很多选择,每个选择都会影响最终结果,要达到最优需要逐步积累经验

先从最简单的开始。。。。。。

需要复习的知识点,导数和偏导数、链式法则、梯度下降

导数:二维几何场景下,可以理解为曲线上某点的斜率,在求函数极小值的时候,可以根据斜率确定下一步 X 该增大还是减小

偏导数:存在多个变量的情况下,x的偏导就是假设其他变量都是常数,然后对x求导

链式法则:借一张图

梯度下降:求导或偏导得到斜率确定变化值,更新变量得到新的值,重复上面的操作,直到斜率为0或小于设置的某个阈值(比如0.000001)

x = x - lrΔx                   y = y - lrΔy          lr 是步长

NN网络举个栗子:

神经元:

激活函数、损失函数:

网络结构:

根据上面的网络结构以及定义,可以得到:

为了更新 W24、W25,需要求 E关于W24、W25的偏导:

 计算W12偏导比较麻烦一些

 根据上面的结果,总结下面的公式:

不同的激活函数和损失函数,求导的方程不一样。

上面的例子使用 logistic函数和最小方差。

下一步打算根据上面的公式,用c++写个小程序动手跑一遍,加深理解,尝试解决简单问题,

然后熟悉成熟框架。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与理论

《白话深度学习与Tensorflow》学习笔记(2)

1、CUDA(compute unified device architecture)可用于并行计算: GTX1060 CUDA核心数:1280 显存大小:6...

3519
来自专栏开源FPGA

基于FPGA的肤色识别算法实现

         大家好,给大家介绍一下,这是基于FPGA的肤色识别算法实现。          我们今天这篇文章有两个内容一是实现基于FPGA的彩色图片转灰度...

2026
来自专栏用户2442861的专栏

python 逻辑回归

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/d...

1101
来自专栏Petrichor的专栏

深度学习: 论网络深度的利弊

[1] 深层学习为何要“Deep”(上) [2] 深层学习为何要“Deep”(下)

1073
来自专栏null的专栏

简单易学的机器学习算法——SVD奇异值分解

一、SVD奇异值分解的定义 image.png 二、SVD奇异值分解与特征值分解的关系     特征值分解与SVD奇异值分解的目的都是提取一个矩阵最重要的特征。...

3447
来自专栏wym

opencv学习笔记 模糊操作+代码(均值模糊,中值模糊,自定义模糊,锐化)

像该函数对领域点的灰度值进行权重相加最后设置灰度值,这样的操作又叫卷积,这样的滤波器叫线性滤波器。

1581
来自专栏marsggbo

DeepLearning.ai学习笔记(四)卷积神经网络 -- week1 卷积神经网络基础知识介绍

一、计算机视觉 ? 如图示,之前课程中介绍的都是64* 64 3的图像,而一旦图像质量增加,例如变成1000 1000 * 3的时候那么此时的神经网络的计...

20410
来自专栏深度学习自然语言处理

详解文本分类之多通道CNN的理论与实践

最近在梳理文本分类的各个神经网络算法,特地一个来总结下。接下来将要一个文章一个文章的讲解各个算法的理论与实践。目录暂定为:

873
来自专栏AI研习社

教程 | Hinton 机器学习视频中文版:神经网络架构介绍(2.1)

本套课程中,Hinton 重点介绍了人工神经网络在语音识别和物体识别、图像分割、建模语言和人类运动等过程中的应用,及其在机器学习中发挥的作用。与吴恩达的《Mac...

3409
来自专栏计算机视觉战队

干货——线性分类(中)

通过之前发布的“干货——线性分类(上)”,得到很多关注者的私信,今天就详细的把线性分类笔记(中)和(下)分享给大家,之后我们也会不短给大家带来一些基础的干货,让...

1243

扫码关注云+社区