第三章bp算法.ppt

第三章前馈神经网络
(BP)算法
1
回顾

模型:单计算节点感知器实际上就是一个M-P神经元模型
功能:解决线性可分问题
局限性:不能解决线性不可分问题
学习算法:有导师学习

模型:有隐层的多层前馈网络
功能:能够求解非线性问题
局限性:隐层神经元的学习规则尚无所知
2
-主要内容
引言
基于BP算法的多层前馈网络模型
BP算法的实现
基本思想
推导过程
程序实现
BP学习算法的功能
BP学习算法的局限性
BP学习算法的改进
3
引言--BP算法的提出
提高网络性能(如分类能力)的有效途径
包含隐层的多层前馈网络
长期以来没有提出解决权值调整问题的有效算法。
非线性连续转移函数
BP (Error Back Proragation,BP)算法
1986年,Rumelhart elland领导的科学家小组《Parallel Distributed Processing》一书
应用对象:多层前馈网络
具有非线性连续转移函数
4
基于BP算法的多层前馈网络模型
误差反传(BP)算法
(BP)算法
5
模型的数学表达
输入向量: X=(x1,x2,…,xi,…,xn)T
隐层输出向量: Y=(y1,y2,…,yj,…,ym)T
输出层输出向量: O=(o1,o2,…,ok,…,ol)T
期望输出向量:d=(d1, d2,…,dk,…,dl)T
输入层到隐层之间的权值矩阵:V=(V1,V2,…,Vj,…,Vm)
隐层到输出层之间的权值矩阵:W=(W1,W2,…,Wk,…,Wl)
各个变量之间如何建立联系,来描述整个网络?
6
对于输出层:
k=1,2,…,l ()
k=1,2,…,l ()
对于隐层:
j=1,2,…,m ()
j=1,2,…,m ()
误差反传(BP)算法
基于BP算法的多层前馈网络模型
7
双极性Sigmoid函数:
单极性Sigmoid函数:
()
误差反传(BP)算法
基于BP算法的多层前馈网络模型
8
一、网络误差与权值调整
输出误差E定义:
()
将以上误差定义式展开至隐层:
()
误差反传(BP)算法
BP学习算法
9
一、网络误差与权值调整
进一步展开至输入层:
()
误差反传(BP)算法
BP学习算法
10