MATLAB神经网络实验.ppt

MATLAB神经网络工具箱
介绍及实验要求
神经元模型
Neuron Model: 多输入,单输出,带偏置
输入:R维列向量
权值:R维行向量
阈值:标量
求和单元
传递函数
输出
常用传递函数
a
Wp
-b
1
-1
阈值函数
MATLAB函数: hardlim
MATLAB函数: hardlims
线性函数
Purelin Transfer Function :
a
n
MATLAB函数: purelin
Sigmoid函数
Sigmoid Function :
特性:
值域a∈(0,1)
非线性,单调性
无限次可微
|n|较小时可近似线性函数
|n|较大时可近似阈值函数
MATLAB函数: logsig(对数), tansig(正切)
对数Sigmoid函数
正切Sigmoid函数
前馈神经网络
前馈神经网络(feed forward NN):各神经元接受前级输入,并输出到下一级,无反馈,可用一有向无环图表示。
前馈网络通常分为不同的层(layer),第i层的输入只与第i-1层的输出联结。
可见层:输入层(input layer)和输出层(output layer)
隐藏层(hidden layer) :中间层
BP网络
多层前馈网络
主要功能: 函数逼近, 模式识别, 信息分类
传递函数:隐层采用S形函数,输出层S形函数或线性函数
BP网络的生成
newff
函数newff用来生成一个BP网络
net=newff(PR,[S1 S2...SN],{TF1 TF2... TFN},BTF,BLF,PF)
PR: 一个R×2矩阵, 由R维输入向量的每维最小值和最大值组成
Si: 第i层的神经元个数
TFi: 第i层的传递函数, 默认为tansig
BTF: 训练函数, 默认为trainlm
BLF: 学习函数, 默认为learngdm
PF: 性能函数, 默认为mse
net=newff([0,10;-1,2],[5,1],{‘tansig’,’purelin’},’trainlm’);
%生成一个两层BP网络,隐层和输出层神经的个数为5和1, 传递函数分别为tansig和purelin, 训练函数为trainlm, 其他默认
BP网络的初始化
newff 函数在建立网络对象的同时, 自动调用初始化函数, 根据缺省的参数设置网络的连接权值和阈值.
使用函数init可以对网络进行自定义的初始化. 通过选择初始化函数, 可对各层连接权值和阈值分别进行不同的初始化.
BP网络的学习规则
权值和阈值的调节规则采用误差反向传播算法(back propagation). 反向传播算法分二步进行,即正向传播和反向传播。

输入的样本从输入层经过隐单元一层一层进行处理,通过所有的隐层之后,则传向输出层;在逐层处理的过程中,每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较,如果现行输出不等于期望输出,则进入反向传播过程。

反向传播时,把误差信号按原来正向传播的通路反向传回,并对每个隐层的各个神经元的权系数进行修改,以望误差信号趋向最小。
BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法,按误差函数的负梯度方向修改权系数。