PSO-BP算法.doc

word
word
1 / 19
word
基于PSO-BP算法的模糊神经网络成矿探测评价模型
一、根本的BP神经网络原理
根本BP算法包括两个方面：信号的前向传播和误差的反向传播,即计算实际输出时按从输入到输出的方向进展，而权值和阈值的修正从输出到输入的方向进展。
图1-1 BP网络结构
图1-1中变量含义如下所示 ：
表示输入层第j个节点的输入j=1,…,M；
表示隐含层第i个节点到输入层第j个节点之间的权值；
表示隐含层第i个节点的阈值；
表示隐含层的激励函数；
表示输出层第k个节点到隐含层第i个节点之间的权值，i=1,…,q；
表示输出层第k个节点的阈值,k=1,…,L；
表示输出层的激励函数；
表示输出层第k个节点的输出；
表示输出层第k个节点的期望输出；
激励函数一般使用S型函数，即 ；
word
word
2 / 19
word
j=0,1,2,…,M; i=0,1,2,…,q; k=0,1,2,…,L。
〔1〕信号的前向传播过程
隐含层第i个节点的输入：
〔1-1〕
隐含层第i个节点的输出：
〔1-2〕
输出层第k个节点的输入：
〔1-3〕
输出层第k个节点的输出：
〔1-4〕
〔2〕误差的反向传播过程
误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。 对于每一个样本p的二次型误差准如此函数为：
〔1-5〕
系统对P个训练样本的总误差准如此函数为：
word
word
3 / 19
word
〔1-6〕
根据误差梯度下降法依次修正输出层权值的修正量和隐含层权值的修正量。权值的调整量与误差的梯度下降成正比，即：
；〔1-7〕
式中负号表示梯度下降。
输出层权值调整公式：
〔1-8〕
隐含层权值调整公式：
〔1-9〕
又因为：
，〔1-10〕
〔1-11〕
== 〔1-12〕
〔1-13〕
word
word
4 / 19
word
所以最后得到以下公式：
输出层权值调整量：
〔1-14〕
隐含层权值调整量：
〔1-15〕
第N+1次输入样本时的权值为：
〔1-16〕
〔1-17〕
图2 BP算法程序流程图
BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题：〔1〕学习效率低，收敛速度慢。〔2〕易陷入局部极小状态。基于上述缺点，具体的改良方法包含如下几种。
针对网络收敛速度的改良方法
〔1〕对学习率〔或步长〕的改良。BP算法是基于误差-修正学习的，修正量的大小受学习率的控制，学习率的大小对收敛速度和训练结构影响较大。具体来说，较小的学习率可以保证训练能稳定的收敛，但学习速度慢，训练时间长；较大的学习率可以在某种程度上提高收敛速度，但可能导致震荡或发散，因此很多文献提出了各种自适应调节学习率的方法。
word
word
6 / 19
word
针对易陷入局部极小点的改良方法
选取适宜的初始权值以与修正权值。BP算法采用的是梯度下降法，训练是从某一起始点沿误差函数的斜面逐渐达到误差的最小值，一旦初始值确定，就注定了网络收敛的方向。因此选择适宜的初始权值就显得相当重要。很多文献中都是设置了多个初始值，然后从中选择训练效果最好的一个。另外，借用模拟退火思想调整E(W)，允许E〔W〕按照一定概率有所上升以提高跳离局部极小的可能；或者将权值逐个调整，考虑过去权值调节的影响，权值平衡调节，权值光滑，弹性调节权值变化方向和大小，改良误差函数。
增加动量项。标准BP算法在调整权值的时候，只按t时刻误差的梯度降方向调整，而没有考虑t时刻前的梯度方向，从而常使训练过程发生震荡，收敛缓慢。为提高网络的训练速度，可以在权值调整公式中增加一动量项。增加动量项可以降低网络对误差曲面局部调节的敏感性，从而有效地抑制了网络陷入局部极小值。
改变网络结构。按照一定的规如此增加隐含层节点数、隐含层层数以与连接方式也是改善局部极小值问题的一个不错的方法。网络输入与输出层节点数一般根据实际求解问题的性质和要求确定，