神经网络作业(袁晓艺).docx

-2-
神经网络基础与运用》学习体会
姓名：袁晓懿学号：0610220527
导师：廖桂生课程属性：限选课
当前我们学习的《神经网络基础与运用》，可以说是利用人工构造的神经元，经过不同模式的训练，达到模拟生物神经元功能的目的。从DonaldHebb在1949年作为大脑的一种神经元突触调整的可能机制而提出，从此Hebb规则就一直用于人工神经网络的训练。
与感知机所不同的是，Hebb学习规则的权值更新公式变为Wnew=Wold+tPT,矩阵形式为Wqq
-4-
=TPt。在输入样本为标准正交向量时，该样本只与权值矩阵内对应相等的模式发生作用，而与其他模式的不发生作用，此时网络的输出等于其相应的目标输出。当输入不是标准正交向量时，网络的输出可能偏离目标输出，与目标输出不能十分匹配。解决这一问题的方法，就是运用仿逆规则，即把样本矩阵进行变换。仿逆规则为w=tp+,P+=(PtP)-iPt。通过仿逆规则，如果由于输入样本的非标准正交化引起的输出误差，可以通过仿逆规则达到精确的结果。
【学习体会】
Hebb学习规则可以大大简化实际模式识别问题，一种特殊的类型就是自联想存储器。在自联想存储器中，期望输出向量等于网络的输入向量，并且在输入样本有所破损或者受到干扰时，也可将其复原，其原因是存储器将输入样本与存储的样本相比较，利用距离最近的原则进行判别输出。然而在输入样本缺损严重时，却不能正确识别，这是自联想存储器普遍存在的一个问题。
实际上在某些特定的情况下，输入样本为非标准正交向量时，如果将神经元的传输函数定义为Hardlims,则网络的输出还是有可能实现正确输出的。例如当输入样本为p=(1,1,
1
-1,1,-1,-1)t,p=(-1,1,1,1,1,-1)t时，尽管这两个向量是正交的，但
2
确没有标准化(有的书上称之为归一化),使用Hebb规则,建立一个自联想存储器。通过计算我们会发现，把传输函数由purelin改变为Hardlims后，输出向量就是样本本身，对输入向量标准化的限制消除了。
(三)Widrow-Hoff学习规则
1960年，Widrow和他的研究生MarcianHoof引入了ADALINE网络和一个称为LMS算法的学习规则。这个网络与感知机十分相似,不同之处在于它的传输函数是线性函数而不是硬极限函数。ADALINE网络和感知机一样，只能解决线性可分问题。但是，LMS算法比感知机学习规则要强大很多。感知机规则能保证将训练模式收敛到一个可以正确分类的解上,有时训练模式常接近网络的判定边界,得到的网络对噪声较为敏感。而LMS算法使均方误差最小,从而使网络的判定边界尽量远离训练模式。
【学习体会】为了减小感知机学习中由于权值矩阵选取不当引起的误差,我们就可以利用Widrow-Hoff学习规则,将权值矩阵收敛到一个最优值,增强对噪声的抗干扰能力。为了说明这一问题,我们还以桔子和苹果的分类问题,利用感知机进行分类,由于初始权值选定不同,最终收敛的权值也会各不相同,由于感知机一旦实现正确分类,权值迭代也停止了,难以达到最优权。而利用Widrow-Hoff学习规则，按照LMS算法，如果网络存在一个全局极小点，经过多次迭代后,网络的权值将最终稳定在这个全局极小点上。针对水果分类问题,这个全局极小点就是W=(0,1,0)