反馈型神经网络

反馈型神经网络(recurrent networks)是一种从输出到输入具有反馈连接的神经网络,其结构比前馈网络要复杂得多。典型的反馈型神经网络有Elman网络和Hopfield网络。Elman网络是两层反向传播网络,隐层和输入向量连接的神经元,其输出不仅作为输出层的输入,而且还连接隐层内的另外也一些神经元,反馈到隐层的输入。由于其输入表示了信号的空域信息,而反馈支路是一个延迟单元,反映了信号的时序信息,所以Elman网络可以在时域和空域上进行模式识别。

Hopfield网络又称为联想记忆网络,它常常存储一个或多个稳定的目标向量,当网络输入端输入相似的向量时,这些稳定的目标向量将“唤醒”网络记忆的模式,并通过输出呈现出来。

一、反馈神经网络的函数1.创建函数1.1newhop函数

该函数用于创建一个离散的Hopfield神经网络,函数的调用格式为:

net = newhop(T)

其中,T为目标向量,net为生成的神经网络。newhop返回反馈网络的权值偏差。向量元素的取值为-1或1,函数返回创建好的hopfield网络,并在给定的向量上有稳定的平衡点,且需要使为平衡点尽可能少。

1.2 newelm函数

该函数用于创建一个Elman函数。函数的调用格式为:

net =

newelm(P,T[S1,S2,...S(N-1)],,BTF,BLF,PF,IPF,OPF,DDF)

其中,P为Q1组R维的输入向量矩阵;T为Q2组SN维的输出向量矩阵;Si为各层神经元的个数;TFi为各层的传递函数,默认为tansig函数;BTF网络的训练函数,默认为trainlm函数;BLF为BP学习算法,默认为learngdm函数;PF网络的性能函数,默认为mse函数;IPF为输入处理函数的行单元阵列,默认为fixunknowns、removeconstantrows和mapminmax函数;OPF为输出处理函数的行单元阵列,默认为removeconstantrows和mapminmax函数;DDF为数据函数,默认为dividerand函数;net为生成的新Elman网络。

clearall;

clc;

T1=1:80;

x1=cos(1:20);

x2=3*cos(1:20);

t1=ones(1,20);

t2=3*ones(1,20);

p=[x1 x2 x1 x2];

t=[t1 t2 t1 t2];

x=con2seq(p);%将矩阵信号转换为序列信号

T=con2seq(t);

plot(T1,cat(2,x{:}),':',T1,cat(2,T{:}),'-');

[r,n]=size(x);

[s2,n2]=size(t);

s1=10;

net=newelm(x,T,[s1 s2],{'tansig','purelin'},'trainlm');

net.trainParam.epochs=500;

[net,tr]=train(net,x,T);

y=sim(net,x);

holdon

plot(T1,cat(2,y{:}),'o',T1,cat(2,T{:}),'p');

legend('输入信号曲线','目标信号曲线','输出信号曲线','目标信号曲线');

1.3 patternnet函数

用于创建识别神经网络。函数的调用格式为:

patternnet(hiddenSizes,trainFxn,performFcn)

其中,参数hiddenSizes为隐含层的大小,是一个行向量,默认值为10;trainFcn表示hi函数的字符串,默认值为’trainscg’;performFcn为一个性能函数,默认值为‘crossentropy’。

1.4 elmannet函数

elmannet函数创建的Elman神经网络是局部反馈网络,在计算时采用staticderiv函数计算导数,其调用格式为:

elmannet(layerdelays,hiddenSizes,trainFcn)

其中,参数layerdelays表示网络层延迟的行向量,可取的值为或整数,默认值为1:2;hiddenSizes为隐含层的大小,是一个行向量,默认值为10;trainFcn表示训练函数的字符串,默认值为‘trainlm’。

2.传递函数2.1 satlin函数

该函数为饱和线性传递函数,是神经网络的传递函数,它用神经元的网络输入计算网络输出。

2.2 satlins函数

该函数表示对称饱和传递函数。

二、反馈神经网络的应用1.离散Hopfield神经网络

设计一个Hopfield网络,使其具有联想记忆功能,能正确是被阿拉伯数字,当数字被噪声污染后仍可以正确识别。

clearall;

clc;

ones=[-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1];

twos=[-1 1 1 1 1 1 1 1 1 -1;...

-1 1 1 1 1 1 1 1 1 -1;...

-1 -1 -1 -1 -1 -1 -1 -1 1 1;...

-1 -1 -1 -1 -1 -1 -1 -1 1 1;...

-1 1 1 1 1 1 1 1 1 -1;...

-1 1 1 1 1 1 1 1 1 -1;...

-1 1 1 -1 -1 -1 -1 -1 -1 -1;...

-1 1 1 -1 -1 -1 -1 -1 -1 -1;...

-1 1 1 1 1 1 1 1 1 -1;...

-1 1 1 1 1 1 1 1 1 -1];

%利用这两个数字点阵构成训练样本T

T=[ones;twos]';

%利用newhop函数创建一个离散型hopfield神经网络

net=newhop(T);

noisy_one=ones;

noisy_two=twos;

fori =1:100

a=rand;

noisy_one(i)=-ones(i);

noisy_two(i)=-twos(i);

end

end

%仿真测试

noisy_one2={(noisy_one)'};

identify_one=sim(net,,{},noisy_one2);

identify_one'%获取复原后数字1点阵

noisy_two2={(noisy_two)'};

identify_two=sim(net,,{},noisy_two2);

identify_two'%获取复原后数字1点阵

%以图行的形式将点阵数字绘制出

subplot(321);one = imresize(ones,20);

imshow(one);title('原始数据1');

subplot(322);two = imresize(twos,20);

imshow(two);title('原始数据2');

subplot(323);noisy_one = imresize(noisy_one,20);

imshow(noisy_one);title('带噪声数据1');

subplot(324);noisy_two = imresize(noisy_two,20);

imshow(noisy_two);title('带噪声数据2');

subplot(325);one2 = imresize(identify_one',20);

imshow(one2);title('复原数据1');

subplot(326);identify_two = imresize(identify_two',20);

imshow(identify_two);title('复原数据2');

2.Elman神经网络预测

clearall;

loadstock1

%归一化处理

mi=min(stock1);

ma=max(stock1);

stock1=(stock1-mi)/(ma-mi);

%划分训练数据与测试数据,前210个为训练样本,后210个为测试样本

traindata=stock1(1:210);

p=[];

fori=1:210-5

p=[p;traindata(i:i+4)];

end

p=p';

t=traindata(6:210);%期望输出

%穿件Elman网络

threshold=[0 1;0 1;0 1;0 1;0 1];

net=newelm(threshold,[0 1],[20,1],{'tansig','purelin'});

%开始训练

net.trainParam.epochs=1000;

%初始化

net = init(net);

net = train(net,p,t);

savestock2net

y=sim(net,p);

error=y-t;

mse(error);

fprintf('error = %f\n',error);

t=t*(ma-mi)+mi;

y=y*(ma-mi)+mi;

plot(6:210,t,'b-',6:210,y,'r-');

title('使用原始数据测试');

legend('真实值','测试数据');

clearall;

%加载数据

loadstock2%读取elman网络

loadstock1

%归一化处理

mi=min(stock1);

ma=max(stock1);

testdata=stock1(211:420);

testdata=(testdata-mi)/(ma-mi);

%用后面210个数据进行测试

pt=[];

fori=1:210-5

pt=[pt;testdata(i:i+4)];

end

pt=pt';

%测试

yt=sim(net,pt);

%还原数据

yyt=yt*(ma-mi)+mi;

figure

plot(216:420,stock1(216:420),'r',216:420,yyt,'b');

legend('真实值','测试结果');

本文来自企鹅号 - 瓜大三哥媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨熹的专栏

Machine Learning Notes-Linear Regression-Udacity

什么是 Regression? Regression 就是想找到因变量和自变量之间的关系,用一个函数来表示,并且可用这个函数来预测任意一个新的 x 会有怎样的 ...

37040
来自专栏AI研习社

CS231n 课后作业第二讲 : Assignment 2(含代码实现)| 分享总结

CS231n 是斯坦福大学开设的计算机视觉与深度学习的入门课程,授课内容在国内外颇受好评。其配套的课后作业质量也颇高,因此雷锋网 AI 研习社在近期的线上公开...

541100
来自专栏机器之心

教程 | 仅需六步,从零实现机器学习算法!

从头开始写机器学习算法能够获得很多经验。当你最终完成时,你会惊喜万分,而且你明白这背后究竟发生了什么。

13120
来自专栏瓜大三哥

反馈型神经网络

反馈型神经网络(recurrent networks)是一种从输出到输入具有反馈连接的神经网络,其结构比前馈网络要复杂得多。典型的反馈型神经网络有Elman网络...

81690
来自专栏程序生活

End to End Sequence Labeling via Bidirectional LSTM-CNNs-CRF论文摘要简介神经网络结构训练总结

34440
来自专栏大数据文摘

【自测】斯坦福深度学习课程第五弹:作业与解答2

31190
来自专栏AI科技大本营的专栏

重磅 | 周志华最新论文:首个基于决策树集成的自动编码器,表现优于DNN

向AI转型的程序员都关注了这个号☝☝☝ ? 翻译 | AI科技大本营(rgznai100) 参与 | 周翔、reason_W成龙,Shawn 今年 2 月,南京...

52640
来自专栏用户3246163的专栏

2.1 统计基础

主要用在线性回归的时候来估计b1 unbiasedness: 估计的残差是随机的 efficiency:对比其他估计样本残差最小 consistency:样本增...

30030
来自专栏书山有路勤为径

卡尔曼滤波器(Kalman Filters)

卡尔曼滤波器,这是一种使用噪声传感器测量(和贝叶斯规则)来生成未知量的可靠估计的算法(例如车辆可能在3秒内的位置)。

54430
来自专栏Coding迪斯尼

详解神经网络中的神经元和激活函数

13930

扫码关注云+社区

领取腾讯云代金券