BP神经网络总结笔记
概念背景（来自百度百科）
BP神经网络的代表者是D.Rumelhart和J.McCelland，“反向传播（backpropagation）”一词的使用出现在1985年后，它的广泛使用是在1986年D.Rumelhart和J.McCelland所著的Parallel Distributed Processing这本书出版以后。BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。
BP算法（反向传播算法）的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。
所以一个三层的BP网络就可以完成任意的n维到m维的映射
三层模型
学习机构
三层模型
激活函数，必须处处可导，一般都使用S型函数
使用S型激活函数时BP网络输入与输出关
输入函数
输出函数
学习的过程
神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。
学习的本质
对各连接权值的动态调整
学习规则
权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则（依据最小梯度下降算法）。
核心思想
将输出误差以某种形式通过隐层向输入层逐层反传
调整方式
网络结构
输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元
输入与输出形式
网络中符号含义
第一步，网络初始化
给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。
第二步,随机选取第 个输入样本及对应期望输出
输入样本及对应期望输出
第三步，计算隐含层各神经元的输入和输出
隐含层各神经元的输入和输出
第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数（找最误差曲面中的最低点）
偏导数
计算误差函数对输出层的各神经元的偏导数公式
第五步
第五步
第六步
第七步
第八 步
直观解释
直观解释