BP算法过程.doc

BP算法过程.doc:BP算法程序流程图

X=(X-minX)/(maxX-minX),对每一组样本中的每个变量都要进行归一化
例子：
变量一 (x1)
变量二(x2)
变量三(x3)
变量四(x4)
结果Tk
样本一
1
2
2
4
0
样本二
5
6
7
8
1
样本三
9
10
11
12
2
归一化之后矩阵:
变量一 (x1)
变量二(x2)
变量三(x3)
变量四(x4)
结果Tk
样本一
(1-1)/(9-1)
(2-2)/(10-2)
(2-2)/(11-2)「
(4-4)/(12-4)
(0-0)/(2-0)
样本二
(5-1)/(9-1)
(6-2)/(10-2)
(7-2)/(11-2)
(8-4)/(12-4)
(1-0)/(2-0)
样本三
(9-1)/(9-1)
(10-2)/(10-2)
(11-2)/(11-2)
(12-4)/(12-4)
(2-0)/(2-0)
•数学过程
Xj
X1
输
入
二1
ai
输
岀
、°k变
量
e
Ol
输入层
输岀层
隐含层
Oi
输出层中M=14，隐含层中q=9,学习率？=, L=1 , & =1e-10，最大训练次 ，所以每组样本值输出一个值 一般取初始权值在(-1，1)之间的随机数，初始 阈值取(0,1)之间的随机数
W表示隐含层第i个节点到输入层第j个节点之间的权值；
_i表示隐含层第i个节点的阈值；
(x)表示隐含层的激励函数；(X)=1/(1+e-X)
Wki表示输出层第k个节点到隐含层第i个节点之间的权值，i=1,…,q；
ak表示输出层第k个节点的阈值,k=1,…,；
'■ x表示输出层的激励函数，x =x；
°k表示输出层第k个节点的输出，k=1。
(1)信号的前向传播过程 隐含层第i个节点的输入net:
M
netj 二、wij Xj 亠“ jd (3-1)
隐含层第i个节点的输出yi:
M
yi 二(netj 二 C w^ 耳) u (3-2)
输出层第k个节点的输入netk，k=1:
q q M
netk = ： Wkiyi a^ ＜： wj (' WjXj 耳)ak y y 2 ( 3-3)
输出层第k个节点的输出Ok, k=1:
q
q
6=屮(netk)=屮任 Wkiyi+aJN E Wk神(送 WjXj+8i) + ak 八 3-4)
（2）误差的反向传播过程
误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差, 据误差梯度下降法来调节各层的权值和阈值， 期望值。Tk为预期输出 对于每一个样本p的二次型误差准则函数为
然后根
使修改后的网络的最终输出能接近
Ep：
Ep 痔 8 -Ok)2
2 7 ( 3-5)
系统对P个训练样本的总误差准则函数为:
4 P L E 亍工 口-。/）2
2 pg （ 3-6）
A/Vki,输出层阈值的修正量
他k,隐含层权值的修正量 Awij，隐含层阈值的修正量"“
根据误差梯度下降法依次修正输出层权值的修正量
.: