BP神经网络实验报告.docx

o作业8编程题实验报告
（一）实验内容：
，观
实现多层前馈神经网络的反向传播学习算法。使用察层数增加和隐层数增加是否会造成过拟合。
（二）实验原理：
1）前向传播:
无（"）二。o作业8编程题实验报告
（一）实验内容：
，观
实现多层前馈神经网络的反向传播学习算法。使用察层数增加和隐层数增加是否会造成过拟合。
（二）实验原理：
1）前向传播:
无（"）二。2诚?汽I£
以单隐层神经网络为例（三层神经网络）,则对于第k个输出节点，输出结果为:
/«/D\\
在实验中采用的激励函数为logisticsigmoidfunction考虑每一层节点中的偏差项，所以，在上式中：
(i).(i)%=1Wj0-b
在实验中，就相应的需要注意矢量形式表达式中，矢量大小的调整。
2)BP算法:
a）根据问题，合理选择输入节点，输出节点数，确定隐层数以及各隐层节点数；b）给每层加权系数，随机赋值；c）由给定的各层加权系数，应用前向传播算法，计算得到每层节点输出值，并计算对于所有训练样本的均方误差；d）更新每层加权系数:
H+1)
其中，i⑴
[(乂—di)h'(ai(l)),最后一层—1£色"*)Wjih'(ai^)其它层
j
e）重复c）,d）迭代过程，直至迭代步数大于预设值，或者每次迭代误差变化值小于预设值时，迭代结束,得到神经网络的各层加权系数。
（三）实验数据及程序：
1）实验数据处理:
a）训练样本输入节点数据：在实验中，所用数据中自变量x的取值，为0—1的25个随机值，为了后续实验结果的分析，将其从小到大排序，并加上偏差项，神经网络的输出节点最终训练结果，即为训练得到的回归结果；b）训练样本标签值：在实验中，采用的激励函数为logisticsigmoidfunction，其值域为[0,1],所以，在神经网络训练前，需要对训练样本标签值进行归一化处理；
c）神经网络输出节点值：对训练样本标签值进行了归一化处理，相应的，对于输出节点，需要反归一化处理。
2）实验程序：
实现函数：
[Theta]=BP（input_layer_size,hidden_layer_size,hidden_layer_num,num_labels,Niter,leta,X,Y）输入参数：input_layer_size:输入节点数；hidden_layer_size:隐层节点数（对于单隐层，输入值为一数值，对于多隐层，为一矢量）hidden_layer_num:隐层数；num_labels:输出节点数；Niter:为预设的迭代步数；leta:学习速率，即更新步长；X,Y:分别为训练样本输入特征值以及标签值。
输出参数：Theta:各层加权系数，在程序中，以一个细胞数组的形式保存。
（四）实验结果分析和讨论：
a）隐层数对回归的性能影响：
在实验中，对于单隐层的神经网络，实现前馈神经网络的反向传播学习算法后，分