机器学习神经网络的论文.doc

.页眉...页脚机器学习网络系统论文班级:10级自动化(1班)姓名:才让加学号:...页脚摘要:神经网络是计算机智能和机器学习研究、开发和应用最活跃的分支之一。本文首先通过对误差回传神经网络(BPNN)和径向基函数神经网络(RBFNN)的知识进行学习,并且对各自的原理进行了简单的分析,最后在各自的功能上进行了比较。人工神经网络(works)是参照生物神经网络发展起来的模拟人脑生物过程的人工智能技术。它是由大量的神经元互连形成的一种非线性系统。因此,神经网络根据神经元互连模式可分为前向网络(前馈网络)和反馈网络。经过十几年的发展,神经网络理论在模式识别、人工智能、控制与优化、空间科学、通讯等应用领域取得了令人瞩目的成就。BP网络和RBFNN网络的分析与比较1BP网络原理BP神经网络也称为误差后向传播神经网络,它是一种无反馈的前向网络,是神经网络模型中使用最广泛的一类。BP神经网络是典型的多层结构,分为输入层、隐层和输出层,层与层之间多采用全互联方式,同一层单元之间不存在相互连接接。.页眉...∑W2WnW00ni w x???( )o net??图1Sigmoid单元先计算它的输入的线性组合,然后应用到一个阈值上,阈值输出是输入的连续函数( )o w x?????,我们采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方,首先定义网络输出的总误差:yey???11)(???????DdoutpuskkdkdotwE2)(21)(?.页眉...页脚其中:outputs是网络输出单元的集合,tkd和okd是与训练样例d和第k个输出单元相关的输出值。:BackPropagation(training_examples,?,nin,nout,nhidden)training_examples是序偶<x?,t?>的集合,x?是网络输入值向量,t?是目标输出值。?是学习速率,nin是网络输入的数量,nhidden是隐藏层单元数,nout是输出单元数,从单元i到单元j的输入表示为xji,单元i到单元j的权值表示为wji。?创建具有nin个输入,nhidden个隐藏,nout个输出单元的网络?初始化所有的网络权值为小的随机值?在遇到终止条件前对于训练样例training_examples中的每个<x?,t?>:把输入沿网络前向传播?把实例x?输入网络,并计算网络中每个单元u的输出ou,使误差沿网络反向传播?对于网络每个输出单元k,计算它的误差项?k?k?ok(1-ok)(tk-ok)?对于网络每个隐藏单元h,计算它的误差项?h?h?oh(1-oh)kh kk outputsw???.页眉...页脚?更新每个网络权值wjiwji?wji+?wji,其中?wji=??,每次处理一个,对于每个训练样例d,利用关于这个样例的误差Ed的梯度修改权值。jidjiwEw??????????outputskkkdotwE2)(21)(?符号说明如下:?xji,单元j的第i个输入?wji,j