BP算法程序实现.doc

BP网络隐层可以有多个,多隐层的BP网络模型对一般多层前馈网模型如图所示。;各,yy,m;各隐层输出为,,y…设有h个隐层,按前馈顺序各隐层节点数为m,m,…h2112hh+1,则,各层权值调整计算公式为:,W,W,…,层权值矩阵分别为WW输出层?1h?1hhh???(d?o)o(y?1?o)w?y?jjkkkkjkkj?0,1,2,?,m;k?1,2,?,lh第h隐层l?hoh?1hhhh?1?1h????y)?ywy)??wy?((1ijkjkijjji1k?i0,1,2,,m;j1,2,,m????h1?h按上述规律逐层类推,可得到第一隐层权值调整计算公式为m2?121121????x?y?ww)y?)x?((1qqrprpqqqp1?rm,2,?n;q?1,,p?01,2,?,1三层前馈网的BP学习算法也可写成向量形式:对输出层oTT?]W?δ[y?ToooooT????]yy[yyy式中]?δ??[???y,lk12m0j12对于隐层yTT?]δ?V?X[yTyyyyT????]?δ?[?式中][xxxxx,???Xn2oi1m2j1看出,BP算法中,各层权值调整公式形式上都是一样的,均由3个因素决定,学习率η,本层输出的误差信号δ及本层输入信号Y(或X)。其中输出层误差信号同网络的期望输出与实际输出之差有关,直接反映了输出误差,而各隐层的误差信号与前面各层的误差信号都有关,是从输出层开始逐层反传过来的。反传过程可以简述为:oo通过隐层各节点反;Δ→计算输出层权值调整量Wδδ比较得到输出层误差信号与od传→。网络结构如下:设计BP=,=,ww=,w=,w权系数随机选取为:15131214==,w。w=,w=,w56362646=1。取学习率η),共80每按图中曲线确定学习样本数据如下表(…x(输入信号)y(教师信号)yx(输入信号)(教师信号)…………………:11,计算2、3、4、5单第一次学习,输入=(1节点第1次学习),d?=2,3,4,50000..0000?0net?wx?w?0ii11ii1计算2、3、4、5各隐层单元输出(=2,3,4,5)150.)?)?1/(1?ye?????50.????T??0..?W6Y?.??50.?????net?)?1?e0?1/(1?)?1/(y66反推确定第二层权系数变化:11110??y(d?y)(1?y)?(?)(1?)????y?w?w5,,4?2,3iii66ii6第一次反传修正的输出层权为:???????????????????0.?0333)?1?(?W6??????.????????????反推第一层权系数修正:10011??)y(w1y??5,,4,i?23ii661iii101??x?w?w1i1ii11?????,,612x?wnet5,3,4i?2,1ii12)x(w?).050022?0?(??y1/[1e?0/[]?11?e.]11222?(wx)?(?)25037??]e??1/[e1/[1?]?(?)50500?e.]?y?1/[?????50370.????T38330..18330.???i66??50500.????2??.)??(y?fnet)1/(1e66按表中数据依次训练学习,学习次数足够高时,可能达到学习目的,实现权值成熟。一般网络学习训练次数很高,采用手工计算是不可能的,需要用计算机程序求解。,称标准BP算法。目前神经网络的实现仍以软件编程为主。现以如图的三层BP网络为例,说明标准BP算法的编程步骤:]ooooO[???——输出层输出向量;l21kV?[VV?V?V]——输入层到隐层间的权值矩阵;m2j1V——隐层第j个神经元对应的权列向量;jW?