BP神经网络算法.doc

BP神经网络算法
D
I
I
characteristics, and improve the convergence rate, a satisfactory approximation.
Keywords: Artificial intelligence; BP neural network; change gradient method; improve
I
目 录
第一章 绪论 2
2
4
第二章 人工神经网络的基本原理及模型 7
8
8
8
8
9
9
11
12
12
第三章 BP神经网络算法的改进及其仿真研究 16
BP算法的数学描述 16
BP网络学习算法 19
19
II
21
22
BP算法的缺陷 23
BP算法的一种改进——变梯度BP算法 24
24
25
BP网络应用实例 27
27
BP神经网络的函数逼近 28
结束语 29
参考文献 30
致 谢 31
附 录 32
III
34
2
34
34
第一章 绪论

早在20世纪初，人们就已经发现人脑的工作方式与现在的计算机是不同的。人脑是由极大量基本单元（称之为神经元）经过复杂的相互连接而成的一种高度复杂的、非线性的、并行处理的信息处理系统。
人工神经网络（artificial neural network,ANN），是借鉴人脑的结构和特点，通过大量简单处理单元（神经元或节点）互连组成的大规模并行分布式信息处理和非线性动力学系统。它具有巨量并行性、结构可变性、高度非线性、自学习性和自组织性等特点。因此，它能解决常规信息处理方法难以解决或无法解决的问题，尤其是那些属于思维（形象思维）、推理及意识方面的问题。
从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的过程，即人工神经网络的研究，自20世纪40年代以来，它的发展经历了一条由兴起、萧条和兴盛三个阶段构成的曲折道路［1］［2］［3］。
早在1943年精神病学家和神经解剖学家McCulloch与数学家Pitts在数学生物物理学会刊《Bulletin of Mathematical Biophysics》上发表文章，总结了生物神经元的一些基本生理特征，提出了形式神经元的数学描述与结构，即MP模型。他们的神经元模型假定遵循一种所谓“有或无”（all-or-none）规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它就标志着神经网络和人工智能学科的诞生。
《The Organization of Behavior》(行为组织学)一书。该书第一次鲜明提出了神经元连接强度的Hebb规则。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假设提出的学习规则为神经网络的学习算法奠定了基础，使神经网络的研究进入了一个重要的发展阶段。
2
1954年Minsky在Princeton大学撰写了“神经网络”的博士论文，题目是《Theory of Neural-Analog Reinforcement Systems and Its Application tothe Brain-Model Problem》。1961年Minsky发表了早期关于人工智能（AI）的优秀论文“Steps Toward Artificial Intelligence”，论文的后半部包含了当今神经网络的大部分内容。1967年Minsky出版了《Computation：Finite andInfinite Machines》一书，它是第一本以书的形式扩展了McCulloch和Pit