第06讲反向传播网络演示文稿.ppt.ppt

第09讲径向基函数网络 RBF 网络径向基函数( RBF-Radial Basis Function )神经网络,是在借鉴生物局部调节和交叠接受区域知识的基础上,提出的一种采用局部接受域来执行函数映射的人工神经网络。 1G 2GnG ???? u y RBF 网络结构是由一个隐含层(径向基层) 和一个线性输出层组成的前向网络,隐含层采用径向基函数作为网络的激活函数。 RBF 网络输出的计算: RBF 网络第 i个隐层节点的输出为: ||) (|| i icuRq??式中 u—— n维输入向量 ci——第i个隐节点的中心, ——通常为欧氏范数—— RBF 函数,具有局部感受的特性,它有多种形式,体现了 RBF 网络的非线性映射能力,通常取为高斯函数,其形式为|| ||?)(?R 2 2)( ? cxeR ????网络输出层第 k个节点的输出,为隐节点输出的线性组合: ??? i ki ki kqw y?式中—— qi到 yk的联接权——第k个输出节点的阈值 kiw k? RBF 网络的学习算法设有 p组输入/输出样本,定义目标函数( L2 范数): Lpdu pp,,2,1,/????????? ppk kp kp ppydydJ 2 2)(2 1 || ||2 1学习的目的是使??J RBF 网络的学习算法由两部分组成:无导师学习、有导师学习。?无导师学习也称非监督学习,对所有样本的输入进行聚类,求得各隐层节点的 RBF 的中心 ci。这里介绍用 k均值聚类算法,调整中心,算法步骤为: ?(1)给定各隐节点的初始中心; ?(2)计算距离(欧氏距离)并求出最小距离的节点: )()( min )( 1 ||,)1()( ||)( mintdtdtd mitctutd ri i i???????(3)调整中心: ))1()(()1()( ,1 ),1()(??????????tctutctc rimitctc r rr ii?式中——学习速率, (4)计算节点的距离??||)()( ||)(tctutd r r?? r有导师学习有导师学习也称监督学习。当 ci确定后,训练由隐层至输出层之间的权系值,