BP算法介绍.ppt

BP算法介绍
压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。
f（net）=a+b/(1+exp(-d*net))
a，b，d为常数。它的饱和值为a和a+b。
最简单形式为：
f…
…
…
…
…
…
2022/7/17
22
如果将输出信号反馈到输入端,就可构成一个多层的循环网络。
输入的原始信号被逐步地加强、被修复。
大脑的短期记忆特征:看到的东西不是一下子就从脑海里消失的。
稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。
循环网
2022/7/17
23
人工神经网络最具有吸引力的特点是它的学习能力。
1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。
人工神经网络的表达能力大大地限制了它的学习能力。
人工神经网络的学习过程就是对它的训练过程
人工神经网络的训练
2022/7/17
24
无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应
抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。
无导师学习
2022/7/17
25
有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。
输入向量与其对应的输出向量构成一训练。
有导师学习的训练算法的主要步骤包括：
1）  从样本集合中取一个样本（Ai，Bi）；
2）  计算出网络的实际输出O；
3）  求D=Bi-O；
4）  根据D调整权矩阵W；
5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。
有导师学习
2022/7/17
26
Widrow和Hoff的写法：
Wij(t+1)=Wij(t)+α(yj- aj(t))oi(t)
也可以写成：
Wij(t+1)=Wij(t)+Wij(t)
Wij(t)=αδjoi(t)
δj=yj- aj(t)
Grossberg的写法为：
Wij(t)=αai(t)(oj(t)-Wij(t))
更一般的Delta规则为：
Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))
Delta规则
2022/7/17
27
1 概述
2 基本BP算法
3 算法的改进
4 算法的实现
5 算法的理论基础
6 几个问题的讨论
BP网络
2022/7/17
28
1、BP算法的出现
非循环多级网络的训练算法
UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述
1982年，Paker就完成了相似的工作
1974年，Werbos已提出了该方法
2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。
3、优点：广泛的适应性和有效性。
一 概述
2022/7/17
29
4、BP网络主要用于
1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。
2）模式识别：用一个特定的输出向量将它与输入向量联系起来。
3）分类：把输入向量 以所定义的合适方式进行分类。
4）数据压缩：减少输出向量维数以便于传输或存储。
概述
2022/7/17
30
1 网络的构成
神经元的网络输入：
neti=x1w1i+x2w2i+…+xnwni
神经元的输出：
二 基本BP算法
2022/7/17
31
应该将net的值尽量控制在收敛比较快的范围内
可以用其它的函数作为激活函数，只要该函数是处处可导的
输出函数分析

f ′(net)

o
0
1
1
（0,）
net
（0,0）
o
2022/7/17
32
网络的拓扑结构
x1
o1
输出层
隐藏层
输入层
x2
o2
om
xn
…
…
…
…
…
…
…
W(1)
W(2)
W(3)
W(L)
2022/7/17
33
BP网的结构
输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定
实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。
BP网一般都选用二级网络。
网络的拓扑结构
2022/7/17
34
网络的拓扑结构
x1
o1
输出层