神经网络实验报告.doc

电气工程学院神经网络实验报告院系:电气工程学院专业:电气工程及其自动化实验二基于BP网络的多层感知器一实验目的::,观察对于不同的学习率、,并加入动量项来观察批处理以及改进的的算法对结果和收敛速度的影响。,它含有一个隐层。输出O输出层W=(w1,w2,……….wj)………….Y=(y1,y2,…….yj)隐层y0V=(v1,v2,…….vj)输入层X0X下面对误差和权值的调整过程进行推导对于单样本的输入Xi则隐层的输出:yi=j);netj=(xi*vi)输出层的输出:O=);net=(wi*yi)变换函数:f1=f2=x;当网络输出与期望输出不等时,存在输出误差EE=(d-o)2;计算各层的误差:把误差分配到各层以调整各层的权值,所以,各层权值的调整量等于误差E对各权值的负偏导与学习率的乘积,计算得到对权值W和权值V的调整量如下:将上面的式子展开到隐层得:E=(d-o)2=[d-)]=[d-f2()]将上式展开到输入层得:E=(d-o)2=[d-)]=[d-f2(f1())]调整权值的原则是使误差不断地减小,因此应使权值的调整量与误差的梯度下降成正比,即Δwj=-Δvj=-计算得到对各权值的调整为:Δwj=η*(d(1,p)-o(1,p))*y(1,i)Δvj=*(d(1,p)-o(1,p))*w(1,i)*y(1,i)*(1-y(1,i))*x(1,p)其中P为第P个样本:四实验步骤Step1初始化对权值矩阵W、V赋随机数,将样本模式计数器p和训练次数计数器q置于1,误差E置0,学习率η设为0~1内的小数,网络训练后的精度Emin设为一个正的小数;Step2输入训练样本对,计算各层输出用当前样本Xp、dp对向量数组X、d赋值,用下式计算Y和O中各分量yi=j);netj=(xi*vi)O=j);net=(wi*yi)Step3计算网络输出误差设共有P对训练样本,网络对于不同的样本具有不同的误差2åStep4计算各层误差信号:各层的误差信号为误差E对各层权值的偏导Step5调整各层权值Δw=η*(d(1,p)-o(1,p))*y(1,i)Δv=*(d(1,p)-o(1,p))*w(1,i)*y(1,i)*(1-y(1,i))*x(1,p)Step6检查是否对所有样本完成一次轮训若p<P,计算器p=p+1,q=q+1,返回Step2,否则转到Step7Step7检查网络总误差是否达到精度要求当用ERME作为网络的总误差时,若满足ERME<Emin,训练结束,否则E置0,p置1,返回Step2。单样本训练:每输入一个样本,都要回传误差并调整权值,会导致收敛速度过慢批处理(Batch)训练:根据总误差,计算各层的误差信号并调整权值,在样本数较多时,批训练比单样本训练时的收敛速度快五实验结果对于单本输入的网络程序如下:functionlimoyan;%建立以limoyan为文件名的m文件clc;clear;x=[-4::4];%产生样本j=input('j=');%输入隐结点的个数n=input('n=');%输入学习率w=rand(1,j);%对权值w赋较小的初值w0=;%对权值w0赋较小的初值v=rand(1,j);%对权值V赋较小的初值v1=rand(1,j);%对权值V1赋较小的初值x0=-1;%对阈值x0赋初值y0=-1;%对阈值y0赋初值err=zeros(1,101);wucha=0;erro=[];Erme=0;zong=[];Emin=;d=zeros(1,101);%以初值0赋给期望输出form=1:101d(1,m)=*(-x(1,m)+2*x(1,m)*x(1,m))*exp(-x(1,m)*x(1,m)/2);%以Hermit多项式产生期望输出end;o=zeros(1,101);netj=zeros(1,j);net=zeros(1,j);y=zeros(1,j);p=1;q=1;whileq<30000%设定最大的迭代交数forp=1:101%计算隐层的输出fori=1:jnetj(1,i)=v(1,i)*x(1,p)+v1(1,i)*x0;y(1,i)=1/(1+exp(-netj(1,i)));end;o(1,p)=w*y'+y0*w