作为感知器及BP神经网络的学习过度,记录几个关于线性神经网络及学习规则的知识点。
1
线性神经网络
感知器的激活函数只能输出两种可能的值,而线性神经网络的激活函数是线性函数(y=x),因此可以取任意值。线性神经网络的过程如下图所示?
两个激活函数,purelin用来训练,sign用来输出结果。线性神经网络采用的是LMS学习规则(个人理解就是如何定义误差及更新权重),下面对几种学习规则进行简单介绍。
2
学习规则
Hebb学习规则是一种无监督学习规则,中心思想是:两个神经元同步被激发,则其联系(权重)会越来越强,否则会越来越弱。
学习信号及权值调整公式为:
学习信号及权值调整公式为:
LMS学习规则广泛应用于信号处理及BP神经网络中,其学习信号及权值调整公式为:
Delta学习规则是一种利用梯度下降法的一般性学习规则,也是连续感知器的学习规则。代价函数为:
欲使E最小,权重应与误差的负梯度成正比,因此有
梯度就是E关于W的导数,因此
LMS中,f为y=x,所以LMS是Delta的一种特殊情况。进一步,为什么权重应与误差的负梯度成正比?从一维情况来对此进行解释。
梯度就是导数,左侧第一个点斜率为负,则负梯度就是正向,此时W也应该是正向,向右移动,才能使得代价函数向最低点走。梯度下降会存在两个问题:1、学习率难选取。太大容易震荡,太小收敛缓慢。2、容易陷入局部最优解。