BP神经网络总结笔记

概念背景(来自百度百科)

BP神经网络的代表者是D.Rumelhart和J.McCelland,“反向传播(backpropagation)”一词的使用出现在1985年后,它的广泛使用是在1986年D.Rumelhart和J.McCelland所著的Parallel Distributed Processing这本书出版以后。BP神经网络是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程它的学习规则是使用梯度下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer)。

BP算法(反向传播算法)的学习过程,由信息的正向传播误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息,并传递给中间层各神经元;中间层是内部信息处理层,负责信息变换,根据信息变化能力的需求,中间层可以设计为单隐层或者多隐层结构;最后一个隐层传递到输出层各神经元的信息,经进一步处理后,完成一次学习的正向传播处理过程,由输出层向外界输出信息处理结果。当实际输出与期望输出不符时,进入误差的反向传播阶段。误差通过输出层,按误差梯度下降的方式修正各层权值,向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程,是各层权值不断调整的过程,也是神经网络学习训练的过程,此过程一直进行到网络输出的误差减少到可以接受的程度,或者预先设定的学习次数为止。

所以一个三层的BP网络就可以完成任意的n维到m维的映射

三层模型

学习机构

三层模型

激活函数,必须处处可导,一般都使用S型函数

使用S型激活函数时BP网络输入与输出关

输入函数

输出函数

学习的过程

神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。

学习的本质

对各连接权值的动态调整

学习规则

权值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则(依据最小梯度下降算法)。

核心思想

将输出误差以某种形式通过隐层向输入层逐层反传

调整方式

网络结构

输入层有n个神经元,隐含层有p个神经元,输出层有q个神经元

输入与输出形式

网络中符号含义

第一步,网络初始化

给各连接权值分别赋一个区间(-1,1)内的随机数,设定误差函数e,给定计算精度值 最大学习次数M

第二步,随机选取第 个输入样本及对应期望输出

输入样本及对应期望输出

第三步,计算隐含层各神经元的输入和输出

隐含层各神经元的输入和输出

第四步,利用网络期望输出和实际输出,计算误差函数对输出层的各神经元的偏导数(找最误差曲面中的最低点)

偏导数

计算误差函数对输出层的各神经元的偏导数公式

第五步

第五步

第六步

第七步

 第八 步

直观解释

直观解释

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏奇点大数据

卷积神经网络对图片分类-下

接上篇:卷积神经网络对图片分类-中 9 ReLU(Rectified Linear Units) Layers 在每个卷积层之后,会马上进入一个激励层,调用一种...

29912
来自专栏人工智能

卷积神经网络之卷积操作

深度学习是一个目前非常火热的机器学习分支,而卷积神经网络(CNN)就是深度学习的一个代表性算法。CNN主要用来解决图像相关的问题,目前,单张图片的识别问题已基本...

2007
来自专栏CreateAMind

RCNN- 将CNN引入目标检测的开山之作

https://www.zhihu.com/question/35887527/answer/147832196

1352
来自专栏LhWorld哥陪你聊算法

【深度学习篇】---CNN和RNN结合与对比,实例讲解

CNN和RNN几乎占据着深度学习的半壁江山,所以本文将着重讲解CNN+RNN的各种组合方式,以及CNN和RNN的对比。

3913
来自专栏李智的专栏

斯坦福CS231n - CNN for Visual Recognition(1)-lecture2图像分类、最近邻分类器

  顾名思义,就是给定一个图像,判断出它属于哪一个类。通常通过带有标签的数据作为训练集用各种方法进行训练, 然后在测试集上进行测试,预测出最可能的类别(标签)。

891
来自专栏红色石头的机器学习之路

matlab svmtrain和svmclassify函数使用示例

监督式学习(Supervised Learning)常用算法包括:线性回归(Linear Regression)、逻辑回归(Logistic Regressio...

7380
来自专栏码农笔录

BP神经网络基础算法

1745
来自专栏SIGAI学习与实践平台

反向传播算法推导-卷积神经网络

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的。

2411
来自专栏人工智能LeadAI

CNN卷积神经网络分析

CNN最大的优势在特征提取方面。由于CNN的特征检测层通过训练数据进行学习,避免了显示的特征抽取,而是隐式地从训练数据中进行学习;再者由于同一特征映射面上的神经...

1221
来自专栏人工智能

课后作业(二):如何用一个只有一层隐藏层的神经网络分类Planar data

来源:sandipanweb 编译:Bot 编者按:之前,论智曾在TOP 10:初学者需要掌握的10大机器学习(ML)算法介绍了一些基础算法及其思路,为了与该帖...

1946

扫码关注云+社区

领取腾讯云代金券