BP算法改进应用.doc

BP算法改进应用.docBP算法及其改进应用0引肯神经网络(works,简称NN)是由大量的、简单的处理单元(简称为神经元)广泛的相互连接而成的复杂网络系统,它反映了人脑功能的许多基本特性,是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力,特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关,是一门新兴的边缘交叉学科。elland等人提出并行分布处理(PDP)的理论,同时提出了多层网络的误差反向传播学习算法,简称BP算法。这种算法根据学习的误差大小,把学习的结果反馈到中间层次的隐单元,改变它的权系数矩阵,从而达到预期的学习目的,解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强,可以完成许多学习任务,解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。 22Q、、二-二9直三图1BP网络结构模型的数学表达如下:输入向量: X=(“,兀2,…,石,…,勺)隐层输出向量:Y=⑶,力,…,片,…,ym)T输出层输出向量:O=(o\,O2,・・・,Ok,・・・,o"T期望输出向量:d=(〃i,〃2,…,心,•••,〃/)丁输入层到隐层之间的权值矩阵:V=(V1,V2,...,VJ,...,VW)隐层到输出层Z间的权值矩阵:W=(W1,W9,...,VK,...,W/)mneh=E^/^/j"k=1,2,...,/(1-2)对于隐层:yj=j)j=l,2,...,fn(1-3)nnetJ=DijXii=0j=1,2,...,加(1-4)其中,/(•)为单极性Sigmoid函数f(x)=-1或双极性Sigmoid函数k=1,2,…」(1-1)1+:ok=k)/w=:E=-(d-o)2=~Y(dk-ok)22 2k=[将以上误差定义式展开至隐层:/ 1/ mE=-^lk-k)]2=工[如-k=l 2k=\ y=0z m进一步展开至输入层:£=工{心-/[工耳汀(呦/)]}2k=l j=0]I m n=-/[工Wj汀(为叫产•)1}22k={ j=0 i=0j =1,2,...,/d£(1-5)(1-6)(1-7)(1-8)i=0」,…屮;j=12・・・N(1-9)式中负号表示梯度下降,常数ne(o,i)表示比例系数。在全部推导过程中,对输出层有)=0,1,・・・,加;k=1,2,・・・,Z对隐层有z=0,1,...,/?;j=1,2,...,(1-8),可以写成:△⑷孙-异E~n叫3wjk(MO)对于隐层式(1-9),可以写成:△切二-“uVy dnetjdv^"ij对输岀层和隐层各定义一个误差信号,令综合利用上式可得权值调整为:Awjk=7]^yj(1-11)(1-12)(1-13)(1-14)(1-15)可以看出,只要计算出式(1-14).式(1・15)中的误差信号》。和/〉',权值调整量的计算推导即可完成。下面继续推导如何求误差信号^和莎丫。(1-16)对于输岀层,尸可展开为:殒=-