竞争型神经网络

自组织神经网络(self-Organization Mapping net,SOM)是基于无监督学习方法的神经网络的一种重要类型。自组织神经网络是神经网络最富有美丽的研究领域之一，它能够通过其输入样本学会检测其规律性和输入样本相互之间的关系，并且根本这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本相适应。竞争型神经网络的神经元通过输入信息能够识别成组的相似输入向量；自组织神经网络通过学习同样能够识别成组的相似输入向量，使那些网络层中彼此靠得很近的神经元对相似输入向量产生响应。与竞争型神经网络不同的是，自组织映射神经网络不但能学习输入向量的分布情况，还可以学习输入向量的拓扑结构，其单个神经元对模式分类不起决定性作用，而要靠多个神经元的协同作用才能完成模式分类。

学习向量量化(Learning Vector Quantization,LVQ)是一种用于训练竞争层的有监督(supervised learning)方法。竞争层神经网络可以自动学习对输入向量模式的分类，但是竞争层进行的分类只取决于输入向量之间的距离，当两个输入向量非常接近时，竞争层就可以把它们归为一类。在竞争层的设计中没有这样的机制，即严格按地区判断任意两个输入向量是属于同一类还是属于不同类。而对于LVQ网络用户指定目标分类结果，网络可以通过监督学习，完成对输入向量的准确分类。

1. 竞争神经网络的概述

竞争型网络可分为输入层和竞争层。假定输入层由N个神经单元构成，竞争层有M个神经元，网络的连接权值为ωij,i=1,2,...,N;j=1,2,...,M，且满足约束条件

。在竞争层中，神经元之间相互竞争，最终只有一个或几个神经元获胜，以适应当前的输入样本。竞争胜利的神经元就代表着当前输入样本分类模式。

竞争型网络的输入样本为二值向量，个元素取值0或1.竞争层神经元j的状态可按照下式计算

其中，xi为样本向量的第i个元素。根据竞争机制，竞争层中具有最大加权值的神经元k竞争胜利，输出为

竞争后的权值按照下式进行修正，对于所有的i，有

其中，α是学习参数，0<α<1，一般取值为0.01~0.03；m为输入层中输出为1的神经元个数，即

权值调整xi/m项表示当xi为1时，权值增加；而当xi为0时，权值减小。也就是说，当xi活跃时，对应的第i个权值就增加，否则就减小。由于所有权值的和为1，所以当第i个权值增加或减小时，对应的其他的权值就可能减小或增加。此外，该公式还保证了权值的调整能够满足所有的权值调整量之和为0。

2. 竞争学习网络的学习规则

2.1.Kohonen权值学习规则

竞争型神经网络按照Kohonen学习规则对获胜神经元的权值进行调整。假设第i个神经元获胜，则输入权值向量的第i行元素（即获胜神经元的各连接权）按下式进行调整：

iIW(k)=iIW(k-1)+α*[p(k)-iIW(k-1)]

而其他神经元的权值不变。

Kohonen学习规则通过输入向量进行神经元权值的调整，因此在模式识别的应用中是很有用的。通过学习，那些最靠近输入向量的神经元权值向量得到修正，使之更靠近输入向量，其结果是获胜的神经元在下一次获胜的输入向量出现时，获胜的可能性会更大；而对于那些与输入向量相差很远的神经元权值向量，获胜的可能性变得很小。这样，当经过越来越多的训练样本学习后，每一个网络层中的神经元权值向量很快被调整为最接近某一类输入向量的值。最终的结果是：如果神经元的数量足够多，则具有相似输入向量的各类模式作为输入向量时，其对应神经元输出为1；而对于其他模式的输入向量，其对应的神经元输出为0。所以，竞争型神经网络具有对输入向量进行学习分类的能力。

在MATLAB工具箱中，learnk函数可以实现Kohonen学习规则。

2.2阈值学习规则

竞争型神经网络的一个局限性是：某些神经元可能永远也排不上用场，换句话说，某些神经元的权值向量从一开始就远离所有的输入向量，从而使得该神经元不管进行多长的训练也不会赢得竞争。这些神经元称为“死神经元”，它们实现不了任何有用的函数映射。

为避免这一现象的发生，对于那些很少获胜（甚至从未获胜）的神经元赋以较大的阈值，而对于那些经常获胜的神经元赋以较小的阈值。正的阈值与距离的负值增加，使获胜很少的神经元竞争层传输函数的输入就像获胜的神经元一样。这一过程就像人们“同情”弱者一样，表现出一个人的“良心”。

这一过程的实现需要用到神经元输出向量的平均值，它等价于每个神经元输出为1的百分比，显然，经常获胜的神经元，其输出为1的百分比要大。

在MATLAB工具箱中，learncon函数用于进行阈值的修正。

对于学习函数learncon进行阈值修正时，神经元输出向量的平均值越大，其“良心”值越大，所以凭良心获得的阈值就越小，而让那些不经常获胜的神经元阈值逐渐变大。其算法如下：

c(k)=(1-lr)*c(k-1)+lr*a(k-1)

b(k)=exp[1-log(c,k)]-b(k-1)

式中：c为“良心”值；a为神经元输出的平均值；lr为学习率。

一般讲learncon的学习率设置成默认值或比learnk的学习率小的值，使其在运行过程中能够较精确地计算神经元的输出平均值。

结果那些不经常产生响应的神经元的阈值相对于那些经常产生响应的神经元，其阈值不断增大，使其产生响应的输入空间也逐渐增大，即对更多的输入向量产生响应，最终各神经元对输入向量产生响应的数目大致相等。

这样做有两点好处：

其一，如果某个神经元因为远离所有的输入向量而始终不能在竞争中获胜，则其阈值会变得越来越大，使其终究可以获胜。当这一情况出现后，它将逐渐向输入向量的某一类聚集，一旦神经元的权值靠近输入向量的某一类模式，该神经元将经常获胜，其阈值将逐渐减小到0，这样就解决了“死神经元”的问题。

其二，学习函数learncon强迫每个神经元对每个输入向量的分类百分比大致相同，所以如果输入空间的某个区域比另外一个区域聚集了更多的输入向量，那么输入向量密度大的区域将吸引更多的神经元，从而获得更细的分类。

3. 竞争性神经网络存在的问题

对于模式样本本身具有明显的分类特征，竞争型神经网络可以对其进行正确的分类，网络对同一类或相似的输入模式具有稳定的输出响应，但也存在一些问题：

（1）当学习模式样本本身杂乱无章，没有明显的分类状态时，网络对输入模式的响应呈现震荡的现象，即对同一类输入模式的响应可能激活不同的输出神经元，从而不能实现正确的分类。当各类模式的特征相近时，也会出现同样的情况。

（2）在权值和阈值的调整过程中，学习率的选择在收敛速度和稳定性之间存在矛盾，而不像前面介绍的其他的学习算法，可以在刚开始时采用较大的学习率，而在权值和阈值趋于稳定时，采用较小的学习率。竞争型神经网络在增加新的学习样本时，对权值和阈值可能需要做比前一次更大的调整。

（3）网络的分类性能与权值和阈值的初始值、学习率、训练样本的顺序、训练时间的长短等都有关系，而目前还没有效的方法对各种因素的影响进行评判。

（4）在matlab神经网络工具箱中，以函数trainr进行竞争型神农架网络的训练，用户只能限定训练的最长时间或训练的最大次数，以此终止训练，但终止训练时网络的分类性能究竟如何，没有明确的评判指标。

4. 自组织特征映射网络

SOM网络能将任意维输入模式在输出层映射成一维或二维图形，并保持其拓扑结构不变；网络通过对输入模式的反复学习可以使权重向量空间与输入模式的概率分布趋于一致，即概率保持性。网络的竞争层各神经元竞争对输入模式的响应机会，获胜神经元有关的各权重朝着更有利于它竞争的方向调整“即以获胜神经元为圆心，对近邻的神经元表现出兴奋性侧反馈，而对远邻的神经元表现出抑制性侧反馈，近邻者相互激励，远邻者相互抑制”。一般而言，近邻是指从发出信号的神经元为圆心，半径约为50μm~500μm左右的神经元；远邻是指半径为200μm~2mm左右的神经元。比远邻更远的神经元则表现弱激励作用，如下图所示由于这种交互作用的曲线类似于墨西哥人带的帽子，因此也称这种交互方式为“墨西哥帽”。

5. 学习向量量化网络

在竞争网络结构的基础上，学习向量化（learning vector quantization，LVQ）网络被提出来，融合竞争学习思想和有监督学习算法的特点，通过教师信号对输入样本的分配类别进行规定，从而克服自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。

5.1向量量化

向量量化的思路是，将高维输入空间分成若干不同的区域，对每个区域确定一个中心向量作为聚类的中心，与其处于同一区域的输入向量可用该中心向量来代表，从而形成了以各中心向量为聚类中心的点集。在图像处理领域常用各区域中心点（向量）的编码代替区域内的点来存储或传输，从而提出了各种基于向量量化的有损压缩技术。

在二维输入平面上表示的中心向量分布称为Voronoi图，如下图所示，前面介绍的胜者为王的学习规则以及SOFM竞争学习算法都是一种向量量化算法，能用少量聚类中心表示原始数据，从起到数据压缩作用。但SOFM的各聚类中心对应的向量具有某种相似的特征，而一般向量量化的中心不具有这种相似性。

自组织映射可以起到聚类作用，但无法直接分类或识别，因此它只是自适应解决模式分类问题两步中的第一步。且让我把第二步：学习向量量化，采用监督机制，在训练中加入教师信号作为分类信息对权值进行细调，并对输出神经元预先指定其类别。

5.2 LVQ网络结构与工作原理

结构如下图所示：

竞争层有m个神经元，输入层有n个神经元，两层之间完全连接。输出层每个神经元只与竞争层中的一组神经元连接，连接权重固定为1，训练过程中输入层和竞争层之间的权值逐渐被调整为聚类中心。当一个样本输入LVQ网络时，竞争层的神经元通过胜者为王学习规则产生获胜神经元，容许其输出为1，其它神经元输出为0。与获胜神经元所在组相连的输出神经元输出为1，而其它输出神经元为0，从而给出当前输入样本的模式类。将竞争层学习得到的类成为子类，而将输出层学习得到的类成为目标类。

5.3 LVQ网络学习算法

LVQ网络的学习规则结合了竞争学习规则和有导师学习规则，所以样本集应当为{(xi，di)}。其中di为l维，对应输出层的l个神经元，它只有一个分量为1，其他分量均为0。通常把竞争层的每个神经元指定给一个输出神经元，相应的权值为1，从而得到输出层的权值。比如某LVQ网络竞争层6个神经元，输出层3个神经元，代表3类。若将竞争层的1，3指定为第一个输出神经元，2，5指定为第二个输出神经元，3，6指定为第三个输出神经元。则竞争层到输出层的权值矩阵为:

训练前预先定义好竞争层到输出层权重，从而指定了输出神经元类别，训练中不再改变。网络的学习通过改变输入层到竞争层的权重来进行。根据输入样本类别和获胜神经元所属类别，可判断当前分类是否正确。若分类正确，则将获胜神经元的权向量向输入向量方向调整，分类错误则向相反方向调整。如下图所示：

LVQ网络学习算法的步骤如下:

（1）初始化。竞争层各神经元权值向量随机赋值小随机数，确定初始学习速率和训练次数。

（2）输入样本向量。

（3）寻找获胜神经元。

（4）根据分类是否正确按照不同规则调整获胜神经元的权值:当网络分类结果与教师信号一致时，向输入样本方向调整权值：

当网络分类结果与教师信号不一致时，向输入样本反方向调整权值：

其他非获胜神经元权值保持不变。

（5）更新学习速率

（6）当训练次数未达到设定的次数时，转到步骤(2)输入下一个样本，重复各步骤直到达到设定训练次数为止。

上述训练过程中，要保证η（t）为单调下降函数。

6.ART神经网络

ART（Adaptive Resonance Theory)型网络按照神经网络的三元素：神经元模型、网络结构以及学习算法，进行介绍。

6.1 网络系统结构

如下图所示：

ART I网络结构由两层神经元构成两个子系统，分别为比较层C和识别层R，包含3种控制信号：复位信号R、逻辑控制信号G1和G2。 6.1.1 C层结构 如下图所示：

该层有n个神经元，每个接收来自3个方面的信号：外界输入信号，R层获胜神经元的外星权向量的返回信号和控制信号G1。C层神经元的输出是根据2/3的多数表决原则产生，输出值与三个信号中的多数信号值相同。

网络开始运行时，G1 = 1，识别层尚未产生竞争获胜神经元，因此反馈信号为0。由2/3规则，C层输出应取决于输入信号，有C=X。当网络识别层出现反馈回送信号时，G1=0，由2/3规则，C层输出取决于输入信号与反馈信号的比较结果，如果xi = tij，则，ci = xi，否则ci=0。可以看出控制信号G1的作用是使得比较层能够区分网络运行的不同阶段，网络开始运行阶段G1的作用是使得C层对输入信号直接输出，之后G1的作用是使C层行使比较功能，此时ci为xi和tij的比较信号，两者同时为1，则ci为1，否则为0。可以看出R层反馈信号对C层输出有调节作用。 6.1.2 R层结构 如下图所示：

功能相当于前馈竞争网，R层有m个神经元，代表m个输入模式类，m可以动态增长，以设立新的模式类。C层的输出向量C沿着R层神经元的内星权向量到达R层神经元，经过竞争在产生获胜神经元处指示本次输入模式的所属类别。获胜神经元输出为1，其余为0。R层每个神经元都对应着两个权向量，一个是将C层前馈信号汇聚到R层的内星权向量，另一个是将R层反馈信号散发到C层的外星权向量。 6.1.3控制信号 信号G2检测输入模式X是否为0，它等于X各分量的逻辑或，如果xi全为0，则G2=0，否则G2=1。R层输出向量各分量的逻辑或为R0，则信号G1=G2与（R0的非）。当R层输出向量的各分量全为0而输入向量X不是0向量时，G1为1，否则G1为0。G1的作用就是使得比较层能够区分网络运行的不同阶段，网络开始运行阶段G1的作用是使得C层对输入信号直接输出，之后G1的作用是使C层行使比较功能，此时ci为xi和tij的比较信号，两者同时为1，则ci为1，否则为0。Reset信号的作用是使得R层竞争获胜神经元无效，如果根据某种事先设定的测量标准，Tj与X未达到设定的相似度，表明两者未充分接近，于是系统发出Reset信号，使得竞争获胜神经元无效。 6.2 网络运行原理 网络运行时接受来自环境的输入模式，检查输入模式与R层所有已存储模式类之间的匹配程度。R层所存储的模式类是通过对应R层神经元的外星权向量体现出来的，对于匹配程度最高的获胜神经元，网络要继续考察其存储模式类与当前输入模式的相似程度。相似程度按照预先设计的参考门限来考察，可能出现如下的情况： A.如果相似度超过参考门限，将当前输入模式归为该类，全职调整规则是相似度超过参考门限的神经元调整其相应的内外星权向量，以使得以后遇到与当前输入模式接近的样本时能够得到更大的相似度；其他权向量则不做改动。 B.如果相似度不超过门限值，则对R层匹配程度次高的神经元代表的模式类进行相似度的考察，若超过门限，网络的运行回到情况A，否则仍然回到情况B。如果最终存储的所有模式类与当前输入模式的相似度都没有超过门限，此时需在网络输出端设立一个代表新模式类的神经元，用以代表及存储该模式，以便参加以后的匹配过程。网络对所接受的每个新输入样本，都进行上面的运行过程。对于每个输入模式，网络运行过程可归纳为4个阶段： （1）匹配阶段 网络在没有输入模式之前处于等待状态，此时输入端X=0。当输入不全为０的模式Ｘ时，Ｇ1＝１允许输入模式直接从Ｃ层通过，并前向传至Ｒ层，与Ｒ层神经元对应的所用内星权向量Bj进行匹配计算：

选择具有最大匹配度（具有最大点积）的竞争获胜神经元：

使获胜神经元输出r∗j=1，其他神经元输出为0。 （2）比较阶段 使得Ｒ层获胜神经元所连接的外星权向量T∗j激活，从神经元ｊ发出的ｎ个权值信号返回到Ｃ层的ｎ个神经元。此时，Ｒ层输出不全为零，则Ｃ层最新的输出状态取决于Ｒ层返回的外星权向量与网络输入模式Ｘ的比较结果。由于外星权向量是Ｒ层模式类的典型向量，该比较结果反映了在匹配阶段Ｒ层竞争排名第一的模式类的典型向量与当前输入模式Ｘ的相似度。相似度的大小可用相似度Ｎ0反应，定义为：

因为输入xi为二进制数，N0实际上表示获胜神经元的类别模式典型向量与输入模式样本相同分量同时为1的次数。输入模式样本中的非零分量数位N1

N1=∑1nxi 用于比较警戒门限为ρ，在0~1之间取值，检查输入模式与模式类典型向量之间的相似度是否低于警戒门限，如果有： N0/N1<ρ 则X与T∗j的相似程度不满足要求，网络发出Reset信号，使得第一阶段的匹配失败，竞争获胜神经元无效，网络进入搜索阶段。如果有 N0/N1>ρ

表明X与获胜神经元对应的类别模式非常接近，称X与T∗j 发生共振，第一阶段匹配结果有效，网络进入学习阶段。 （3）搜索阶段 网络发出Reset重置信号后即进入搜索阶段，重置信号的作用是使前面通过竞争获胜的神经元受到抑制，并且在后续过程中受到持续的抑制，直到输入一个新的模式为止。由于R层中竞争获胜的神经元被抑制，从而再度出现R0=0,G1=1,因此网络又重新回到起始的匹配状态。由于上次获胜的神经元持续受到抑制，此次获胜的必然是上次匹配程度排第二的神经元。然后进入比较阶段，将该神经元对应的外星权向量t∗j 与输入模式进行相似度计算。如果所有R层的模式类，在比较阶段相似度检查中相似度都不能满足要求，说明当前输入模式无类可归，需要在网络输出层增加一个神经元来代表并存储该模式类，为此将其内星权向量B∗j 设计为当前输入模式向量，外星权向量T∗j 各分量全设置为1。 （4）学习阶段 在学习阶段要对发生共振的获胜神经元对应的模式类加强学习，使以后出现与该模式相似的输入样本时能获得更大的共振。 外星权向量T∗j 和内星权向量B∗j 在运行阶段进行调整以进一步强化记忆。经过学习后，对样本的记忆将留在两组权向量中，即使输入样本改变，权值依然存在，因此称为长期记忆。当以后输入的样本类似已经记忆的样本时，这两组长期记忆将R层输出回忆至记忆样本的状态。

7.对向传播网络

1987年，美国学者Robert Hecht-Nielsen提出了对偶传播神经网络模型 （Counter Propagation Network，CPN），CPN最早是用来实现样本选择匹配系统的。CPN 网能存储二进制或模拟值的模式对，因此这种网络模型也可用于联想存储、模式分类、函数逼近、统计分析和数据压缩等用途。

7.1网络结构与运行原理

网络结构如图所示，各层之间的神经元全互联连接。从拓扑结构看，CPN网与三层BP网络相近，但实际上CPN是由自组织网和Grossberg外星网组合而成。隐层为竞争层，采用无导师的竞争学习规则，而输出层为Grossberg层，采用有导师信号的Widrow-Hoff规则或Grossberg规则学习。

网络各层按两种学习规则训练好之后，运行阶段首先向网络送入输入变量，隐含层对这些输入进行竞争计算，获胜者成为当前输入模式类的代表，同时该神经元成为如下图(a)所示的活跃神经元，输出值为1而其余神经元处于非活跃状态，输出值为0。竞争取胜的隐含神经元激励输出层神经元，使其产生如下图(b)所示的输出模式。由于竞争失败的神经元输出为0，不参与输出层的整合。因此输出就由竞争胜利的神经元的外星权重确定。

7.2 学习算法

网络学习分为两个阶段：第一阶段是竞争学习算法对隐含层神经元的内星权向量进行训练；第二阶段是采用外星学习算法对隐含层的神经元的外星权向量进行训练。

因为内星权向量采用的是竞争学习规则，跟前几篇博文所介绍的算法步骤基本类似，这里不做介绍，值得说明的是竞争算法并不设置优胜临域，只对获胜神经元的内星权向量进行调节。

下面重点介绍一下外星权向量的训练步骤:

（1）输入一个模式以及对应的期望输入，计算网络隐节点净输入，隐节点的内星权向量采用上一阶段中训练结果。

（2）确定获胜神经元使其输出为1。

（3）调整隐含层到输出层的外星权向量，调整规则如下：

β为外星规则学习速率，为随时间下降的退火函数。O(t)为输出层神经元的输出值。

由以上规则可知，只有获胜神经元的外星权向量得到调整，调整的目的是使外星权向量不断靠近并等于期望输出，从而将该输出编码到外星权向量中。

7.3 改进CPN网

7.3.1 双获胜神经元CPN

指的是在完成训练后的运行阶段允许隐层有两个神经元同时竞争获得胜利，这两个获胜神经元均取值为1，其他神经元则取值为0。于是有两个获胜神经元同时影响网络输出。下图给出了一个例子，表明了CPN网能对复合输入模式包含的所有训练样本对应的输出进行线性叠加，这种能力对于图像的叠加等应用十分合适。

7.3.2双向CPN网

将CPN网的输入层和输出层各自分为两组，如下图所示。双向CPN网的优点是可以同时学习两个函数，例如：Y＝f （X）；X′＝f （Y′）

当两个函数互逆时，有X＝X′，Y＝Y′。双向CPN可用于数据压缩与解压缩，可将其中一个函数f作为压缩函数，将其逆函数g作为解压缩函数。

事实上，双向CPN网并不要求两个互逆函数是解析表达的，更一般的情况是f和g是互逆的映射关系，从而可利用双向CPN实现互联想。

7.3.4CPN网应用

下图给出了CPN网用于烟叶颜色模式分类的情况，输入样本分布在下图(a)所示的三维颜色空间中，该空间的每个点用一个三维向量表示，各分量分别代表烟叶的平均色调H，平均亮度L和平均饱和度S。可以看出颜色模式分为4类，分别对应红棕色，橘黄色，柠檬色和青黄色。下图(b)给出了CPN网络结构，隐层共设了10个神经元，输出层设4个神经元，学习速率为随训练时间下降的函数，经过2000次递归之后，网络分类的正确率达到96%。