BP算法推算过程.docx

BP算法推算过程
当加入第k个输入时，隐蔽层h结点的输入加权和为：
k k
Sh WihXi
i
相应点的输出：
yh F(sh) F( WihXk)
i
同样，输出层j结点的输入加权和为：
k k k、
Sj WhjYh WhjF( WihXi)
h h i
相应点的输出：
yk F(sk)F( Whjyh) F[ WhjF( WihXk)] h h i
这里，各结点的阈值等效为一个连接的加权0 = W0h或Wj,这些连
接由各结点连到具有固定值-1的偏置结点，其连接加权也是可调的， 同其它加权一样参与调节过程。
误差函数为：
— 1 _ k k 2 1 k _ k__ 2
E(W) - (Tjk yk)2 - {Tjk F[ WhjF( WihXk)]}2
2 k,j 2 k,j h i
为了使误差函数最小，用梯度下降法求得最优的加权，权值先从 输出层开始修正，然后依次修正前层权值，因此含有反传的含义。
根据梯度下降法，由隐蔽层到输出层的连接的加权调节量为：
E k k k k k k
Whj (Tj yj)F(Sj)yh j yh
W hj k k
其中；为输出结点的误差信号：
:F(s：)(T； yk) F(sk)k ⑴
k Tjk yk
对于输入层到隐蔽层结点连接的加权修正量△ Wih,必须考虑将E（W） 对wih求导，因此利用分层链路法，有：
yk)F(sk)Whj F(sh)xk}
E E
W ih k,j
k k
h x i
k
Wih -k
w ih k y h
k k k
j WhjF (Sh)Xi
k,j
其中：
:F(sh) Whj jk F(sh);
k k
h W hj j
可以看出，式（1）和（2）具有相同的形式，所不同的是其误差值的 定义，所以可定义BP算法对任意层的加权修正量的一般形式:
Wpq
vector no P
若每加入一个训练对所有加权调节一次，则可写成:
W pq oy in
其中，下标o和in指相关连接的输出端点和输入端点，yin