神经网络作业(袁晓艺).doc

姓名:袁晓懿学号:0610220527
导师:廖桂生课程属性:限选课
当前我们学习的《神经网络基础与运用》,可以说是利用人工构造的神经元,经过不同模式的训练,达到模拟生物神经元功能的目的。从1984年单神经元网络被用来稳定电话系统中长距离传输的声音信号以来,神经网络的应用已经覆盖了航空、电子、金融、医疗、电信、交通等各个行业。可以想象,随着神经网络科学研究的逐步深入以及应用领域的不断拓广,神经网络必将产生更加深远的影响。
一、神经网络发展简述
神经网络这一学科领域,最早可以追溯到19世纪末或者20世纪初,这一时期研究对象主要集中于学习、视觉和条件反射等一般理论,并没有涉及有关神经元工作的数学模型。现代神经网络研究的开始是以20世纪40年代,Warren McCulloch和Walter Pitts从原理上证明人工神经网络可以计算任何算术和逻辑函数为标志。60年代,由于缺乏新思想和用于实验的高性能计算机,动摇了人们对神经网络的研究兴趣。到了80年代,随着个人计算机和工作站能力的急剧增强和广泛应用,以及不断引入的新概念,克服了摆在神经网络研究面前的障碍,人们对神经网络的研究热情空前高涨。
二、四种网络模型学习规则
截至目前,我们主要学习了四种网络模型,即:感知机、有监督的Hebb网络、Widrow-Hoff模型和反向传播模型。此外,我们还从一个模式识别问题上,引出了竞争网络(hamming网络)和Hopfield网络。下面,我就各个网络模型的学习规则谈一些体会。
(一)感知机学习规则
1943年,Warren McCulloch和Walter Pitts最早提出了一种人工神经元模型,把神经元输入信号的加权和与其阈值相比较以确定神经元的输出。如果加权和小于阈值,则该神经元的输出值为0;如果加权和大于阈值,则该神经元的输出值为1。但由于没有找到训练这一网络的方法,因此必须设计这些神经元网络的参数以实现特定的功能。上世纪50年代,Frank Rosenblatt等研究人员提出了一种感知机的神经网络,引入了用于训练神经网络解决模式识别问题的学习规则,并证明了只要求解问题的权值存在,那么其学习规则通常会收敛到正确的权值上。但是,感知机网络却存在一定的局限性,其只能解决模式识别中的线性可分问题。正是由于这种局限性,一度导致神经网络的研究工作陷入低潮。
我们知道,对于1-3维输入单层神经元的模式识别问题,可以通过图解法解决。其基本程序为:1、画出判定边界,该判定边界实现了区域划分的目的;2、求解权值矩阵,权值矩阵求解的关键是判定边界总是和权值矩阵相正交,对于同一模式识别问题,判定边界的不同会造成权值矩阵的不同。这一不同,在与当前模式精确匹配时不会产生错误的输出,而在其他模式的判别中可能引起较大的误差(下面将举例说明)。3、求解偏值,偏值b的求解,可以在求解权值矩阵的基础上,将判定边界上
任意一点的坐标带入方程WT*P+b=0得到,如果我们划定的判定边界通过坐标原点,那么此时的b值可以设定为0。
当3个以上输入神经元网络的判定边界无法用图形方法进行判定时,我们就必须引入一个学习的规则。如果将单神经元感知机和多神经元感知机统一起来,那么这个学习规则可写为WNEW=WOLD+epT;BNEW=BOLD+e,其中e=t-a。在学习过程的开始,权值和偏值我