基于PSOBP前馈神经网络学习算法其研究.pdf

江苏大学硕士学位论文基于PSO与BP前馈神经网络学习算法的研究姓名:顾同跃申请学位级别:硕士专业:计算机应用技术指导教师:鞠时光 20091216 江苏大学硕士学位论文摘要基于BP算法的BP网络在计算上以并行为主,具有很强的鲁棒性和容错能力,并且非线性单隐层BP网络可以实现以任何精度近似任何连续非线性函数,因此BP网络在实际应用中受到广泛关注。但是,由于采用梯度下降法训练网络,BP算法容易陷入局部极小点、收敛速度慢、从而全局搜索能力较弱。与BP算法相比,遗传算法(GA:ic Algorithm)、微粒群算法(PSO: Particle Swarm Optimization)等优化算法具有较强的全局搜索能力。遗传算法和微粒群群优化算法都随机初始化种群,采用适应值来评价系统并且都根据适应值来进行一定的随机搜索。和GA算法相比,微粒群算法不要求目标函数具有连续性,且它的搜索方式具有全局性和并行性,所以算法简单,收敛速度快,且不再有GA算法的选择、交叉、变异等复杂操作。但对于复杂问题,微粒群算法易早熟收敛,无法保证收敛到最优点。而且和BP算法相比, 它的局部搜索能力较弱。本文主要将PSO和BP结合起来训练前馈神经网络以提高算法的收敛速度和网络的泛化性能,并且就PSO过早收敛问题提出了一些改进的方法。本文的研究工作主要有: (1)在将PSO和BP结合起来的基础上提出两个混合算法,算法在克服 PSO和BP的缺点的同时发扬它们的优点。混合算法降低了训练过程中陷入局部极小点的几率,实验结果也验证了算法有优于传统算法的收敛性能。(2)针对粒子群算法早熟的问题,本文提出了增加粒子群多样性的PSO 江苏大学硕士学位论文算法。算法从每个粒子的每一维矢量着手考虑,通过一随机函数对每个粒子进行扰动,提高粒子群多样性,随着迭代次数的增加,扰动的幅度也随之减小,保证算法收敛。此外,对于一类具有单调性样本, 将样本中单调信息耦合到每个粒子中,以减少粒子群陷入局部极值的可能性,同时增加粒子群的多样性。实验结果也说明了该类方法的有效性。关键词: 前馈神经网络,BP算法,微粒群算法,收敛性能江苏大学硕士学位论文 Abstract BP algorithm is a kind offeedforward work,which has excellent ability of handling nonlinear BP-based feedforward work mainly calculates parallelly,and has excellent ability ofrobust and ,BP work 、析tll asingle hidden layer iscapable offorming anarbitrarily closing approximation ofany continuous ,BP work iswidely applied inmany areas. However,since BP algorithm isgradient-based type learning algorithm and there are many local minimal values existing on weights’error surface,BP algorithms iseasily trapped intolocal minima,converges slowly and haslimitedgeneralization capability,thus resulting intopoor performance ofglobalsearching. Compared谢th BPalgorithm,optimization algorithms likeGA(icAlgorithm),PSOA (Particle Swarm Optimization Algorithm)have strong global searching GA and PSO initializeswarm randomly,use fitness value toevaluate thesystemand searchrandomly according to pared谢m GAalgorithm,PSO algorithm doesn’tneed its object function to becontinuous,and itssearching isparallel ,this al