历史发展——BP网络
在上一期我们提到了MP 模型,接下来我们顺着时间轴来到了上世纪 50 年代末、 60 年代初, Rosenblatt 在 MP 模型的基础之上增加学习功能,提出了单层感知器模型,第一次把神经网络的研究付诸实践。但是单层感知器网络模型不能够处理线性不可分问题。
第一次使用神经网络——MP 模型
直至 1986 年, Rumelhart和 Hinton 等提出了一种按误差逆传播算法训练的多层前馈网络—反向传播网络(Back Propagation Network,简称 BP 网络),解决了原来一些单层感知器所不能解决的问题。
BP神经网络是如下一种神经网络模型,它是由一个输入层、一个输出层和一个或多个隐层构成,它的激活函数采用sigmoid函数,采用BP算法训练的多层前馈神经网络。
BP神经网络
BP神经网络由两部分组成:信息的正向传递与误差的反向传播。
正向传递(Feed-Forward前向反馈)过程中,输入信息从输入经隐含层逐层计算传向输出层,第一层神经元的状态只影响下一层神经元的状态。
前向传输
反向传播(Backpropagation)过程中,如果输出层没有得到期望的输出,则计算输出层的误差变化值,然后转向反向传播,通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标。
逆向反馈
BP算法是迄今最成功的神经网络学习算法,现实任务中使用神经网络时,大多是在使用BP算法进行训练,包括最近炙手可热的深度学习概念下的卷积神经网络(CNNs)。因此,BP算法的历史意义:明确地否定了明斯基等人的错误观点,对神经网络第二次高潮具有决定性意义。
下一期我们的时间来到了上个世纪的90年代,又有什么新的数学人工智能模型的产生且请听下回分解。
领取专属 10元无门槛券
私享最新 技术干货