20030228-hejianhua-神经网络讲义-part4-BP网络.ppt

人工神经网络及其应用第4讲 BP神经网络
何建华
电信系,华中科技大学
2003年2月28日
1
一、内容回顾
二、BP网络
三、网络设计
四、改进BP网络
五、内容小结
内容安排
2
一、内容回顾
感知机
自适应线性元件
3
一、内容回顾
感知机
感知机简介
神经元模型
网络结构
功能解释
学习和训练
局限性
自适应线性元件
4
一、内容回顾
感知机
自适应线性元件
Adline简介
网络结构
网络学习
网络训练
5
BP网络简介
网络模型
学习规则
图形解释
网络训练
二、BP网络
6
反向传播网络(Back-work,简称BP网络)是将W-H学习规则一般化,对非线性可微分函数进行权值训练的多层网络
权值的调整采用反向传播(Back-propagation)的学习算法
它是一种多层前向反馈神经网络,其神经元的变换函数是S型函数
输出量为0到1之间的连续量,它可实现从输入到输出的任意的非线性映射
BP网络简介
7
BP网络简介
BP网络主要用于下述方面
函数逼近:用输入矢量和相应的输出矢量训练一个网络逼近一个函数
模式识别和分类:用一个特定的输出矢量将它与输入矢量联系起来;把输入矢量以所定义的合适方式进行分类;
数据压缩:减少输出矢量维数以便于传输或存储
具有将强泛化性能:使网络平滑地学习函数,使网络能够合理地响应被训练以外的输入
泛化性能只对被训练的输入/输出对最大值范围内的数据有效,即网络具有内插值特性,不具有外插值性。超出最大训练值的输入必将产生大的输出误差
8
网络模型
一个具有r个输入和一个隐含层的神经网络模型结构
9
网络模型
感知器和自适应线性元件的主要差别在激活函数上:前者是二值型的,后者是线性的
BP网络具有一层或多层隐含层,除了在多层网络上与前面已介绍过的模型有不同外,其主要差别也表现在激活函数上。
BP网络的激活函数必须是处处可微的,因此它不能采用二值型的阀值函数{0,1}或符号函数{-1,1}
BP网络经常使用的是S型的对数或正切激活函数和线性函数
10