线性神经网络及学习规则

作为感知器及BP神经网络的学习过度，记录几个关于线性神经网络及学习规则的知识点。

1

线性神经网络

感知器的激活函数只能输出两种可能的值，而线性神经网络的激活函数是线性函数（y=x），因此可以取任意值。线性神经网络的过程如下图所示?

两个激活函数，purelin用来训练，sign用来输出结果。线性神经网络采用的是LMS学习规则（个人理解就是如何定义误差及更新权重），下面对几种学习规则进行简单介绍。

2

学习规则

• Hebb学习规则

Hebb学习规则是一种无监督学习规则，中心思想是：两个神经元同步被激发，则其联系（权重）会越来越强，否则会越来越弱。

学习信号及权值调整公式为：

• 感知器学习规则

学习信号及权值调整公式为：

• LMS学习规则

LMS学习规则广泛应用于信号处理及BP神经网络中，其学习信号及权值调整公式为：

• Delta学习规则

Delta学习规则是一种利用梯度下降法的一般性学习规则，也是连续感知器的学习规则。代价函数为：

欲使E最小，权重应与误差的负梯度成正比，因此有

梯度就是E关于W的导数，因此

LMS中，f为y=x，所以LMS是Delta的一种特殊情况。进一步，为什么权重应与误差的负梯度成正比？从一维情况来对此进行解释。

梯度就是导数，左侧第一个点斜率为负，则负梯度就是正向，此时W也应该是正向，向右移动，才能使得代价函数向最低点走。梯度下降会存在两个问题：1、学习率难选取。太大容易震荡，太小收敛缓慢。2、容易陷入局部最优解。