基于BP神经网络的数据分类课件.ppt

基于BP神经网络的数据分类
BP网络介绍
BP网络模型
学习规则
网络程序设计
BP网络应用
1
2
3
4
5
BP网络介绍
反向传输网络(Back-Propagation Network, 简称BP网络)是将W-H学习规则通常化, 对非线性可微分函数进行权值训练 多层网络
权值 调整采取反向传输(Back-propagation） 学习算法
它是一个多层前向反馈神经网络, 其神经元 变换函数是S型函数
输出量为0到1之间 连续量, 它可实现从输入到输出 任意 非线性映射
在人工神经网络 实际应用中, BP网络广泛应用于函数迫近、模式识别/分类、数据压缩等, 80%~90% 人工神经网络模型是采取BP网络或它 改变形式, 它也是前馈网络 关键部分, 表现了人工神经网络最精华 部分。其关键思想是从后向前（反向）逐层传输输出层 误差, 以间接计算出隐层误差。算法分为两个部分: 第一部分（正向传输过程）输入信息从输入层经隐层逐层计算各单元 输出值; 第二部分（反向传输过程）输出误差逐层向前计算出隐层各单元 误差, 并用此误差修正前层权值。
BP网络介绍
网络模型
一个含有r个输入和一个隐含层 神经网络模型结构
网络模型
BP网络含有一层或多层隐含层, 除了在多层网络上与其她 模型有不一样外, 其关键差异也表现在激活函数上。
BP网络 激活函数必需是四处可微 , 所以它不能采取二值型 阀值函数{0, 1}或符号函数{－1, 1}
BP网络常常使用 是S型 对数或正切激活函数和线性函数
学习规则
BP神经网络是一前向结构无反馈 非线性映射系统, 能很好地拟合非线性系统 输入与输出关系。BP网络学习规则 指导思想是: 对网络权值和阈值 修正要沿着表现函数下降最快 方向——负梯度方向。
其中xk是目前 权值和阈值矩阵, gk是目前表现函数 梯度, ak是学习速率。
学习规则
假设输入为P, 输入神经元有r个, 隐含层内有s1个神经元, 激活函数为F1, 输出层内有s2个神经元, 对应 激活函数为F2, 输出为A, 目标矢量为T
学习规则
信息 正向传输
隐含层中第i个神经元 输出
输出层第k个神经元 输出
定义误差函数
学习规则
利用梯度下降法求权值改变及误差 反向传输
输出层 权值改变
其中
同理可得