pso-bp算法.doc

. .
. v .
基于PSO-BP算法的模糊神经网络成矿探测评价模型
一、根本的BP神经网络原理
根本BP算法包括两个方面：信号的前向传播和误差的反向传播,即计算实际输出时按从输入到输出的方向进展，而权值和阈值的修正从输出到输入的方向进展。
…
…
…
…
…
…
输出变量
输入变量
输入层
隐含层
输出层
图1-1 BP网络构造
图1-1中变量含义如下所示：
表示输入层第j个节点的输入j=1,…,M；
表示隐含层第i个节点到输入层第j个节点之间的权值；
表示隐含层第i个节点的阈值；
表示隐含层的鼓励函数；
表示输出层第k个节点到隐含层第i个节点之间的权值，i=1,…,q；
表示输出层第k个节点的阈值,k=1,…,L；
表示输出层的鼓励函数；
表示输出层第k个节点的输出；
表示输出层第k个节点的期望输出；
鼓励函数一般使用S型函数，即；
j=0,1,2,…,M; i=0,1,2,…,q; k=0,1,2,…,L。
〔1〕信号的前向传播过程
隐含层第i个节点的输入：
〔1-1〕
. .
. v .
隐含层第i个节点的输出：
〔1-2〕
输出层第k个节点的输入：
〔1-3〕
输出层第k个节点的输出：
〔1-4〕
〔2〕误差的反向传播过程
误差的反向传播，即首先由输出层开场逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。对于每一个样本p的二次型误差准那么函数为：
〔1-5〕
系统对P个训练样本的总误差准那么函数为：
〔1-6〕
根据误差梯度下降法依次修正输出层权值的修正量和隐含层权值的修正量。权值的调整量与误差的梯度下降成正比，即：
；〔1-7〕
式中负号表示梯度下降。
输出层权值调整公式：
〔1-8〕
. .
. v .
隐含层权值调整公式：
〔1-9〕
又因为：
，〔1-10〕
〔1-11〕
==〔1-12〕
〔1-13〕
所以最后得到以下公式：
输出层权值调整量：
〔1-14〕
隐含层权值调整量：
〔1-15〕
第N+1次输入样本时的权值为：
〔1-16〕
〔1-17〕
. .
. v .
结 束
参数初始化：最大训练次数，学习精度，隐节点数，初始权值、阈值，初始学习速率等
批量输入学习样本并且对输
入和输出量进展归一化处理
输入样本，计算各层输出值
计算输出层误差E(q)
E(q)<ε
修正权值和阈值
Yes
N
Yes
开 始
图2 BP算法程序流程图
BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题：〔1〕学习效率低，收敛速度慢。〔2〕易陷入局部极小状态。基于上述缺点，具体的改良方法包含如下几种。
针对网络收敛速度的改良方法
. .
. v .
〔1〕对学习率〔或步长〕的改良。BP算法是基于误差-修正学习的，修正量的大小受学习率的控制，学习率的大小对收敛速度和训练构造影响较大。具体来说，较小的学习率可以