受限波尔兹曼机_张春霞_图文.pdf

第卷第期工程数学学报VN年月CHNEEOURNALOFENGNEERNGMATHEMATCA文章编号受限波尔兹曼机张春霞、姬楠楠王冠伟西安交通大学数学与统计学院西安长安大学理学院西安西安工业大学机电工程学院西安摘要受限波尔兹曼机dBmnmhnRBM是一类具有两层结构对称连接且无自反馈的随机神经网络模型层间全连接层内无连接近年来随着RBM的快速学习算法一对比散度的出现机器学习界掀起了研究RBM理论及应用的热潮实践表明RBM是一种有效的特征提取方法用于初始化前馈神经网络可明显提高泛化能力堆叠多个RBM组成的深度信念网络能提取更抽象的特征鉴于RBM的优点及其在深度学习中的广泛应用本文对RBM的基本模型学习算法参数设置评估方法变形算法等进行了详细介绍最后探讨了RBM在未来值得研究的方向关键词机器学习深度学习受限波尔兹曼机对比散度Gb釆样分类号AMSBT中图分类号TP0文献标识码A引言机器学习研究的主要任务是设计和开发计算机根据实际数据进行智能学习的算法使其自动发现隐藏在数据中的模式和规律目前各种机器学习算法在人工智能工程应用医学等诸多领域都扮演着非常重要的角色人工神经网络fianuanwkANN作为一种通过模仿生物神经网络的结构和功能而建立起来的计算模型因其自学习自组织较好的容错性和优良的非线性逼近能力等优点而受到众多领域学者的广泛关注在诸多人工神经网络模型中波尔兹曼机BmannmahnBM是Hnn和Snwk于年提出的一种根植于统计力学的随机神经网络这种网络中的神经元是随机神经元其输出只有两种状态未激活激活一般用二进制的和表示状态的取值根据概率法则决定从功能上讲BM是由随机神经元全连接组成的反馈神经网络且对称连接无自反馈包含一个可见层和一个隐层的BM模型如图a所示BM具有强大的无监督学习能力能学习数据中复杂的规则但是拥有这种学习能力的代价是其训练学习过程耗时此外BM所表示的分布不仅无法确切计算得到该分布的随机样本也很困难于是mnky⑷引入了一种限制的波尔兹曼机d—￣收稿期作者简介张春霞年月生女博士副教授研究方向模式识别与集成学习基金项目国家重点基础研究发展计划项C国家然科学基金重大研究计划国家然科学基金中央高校基本科研业务费专项基金工程数学学报第卷BmnnmhnRBMRBM具有一个可见层一个隐层层内无连接其结构如图b所示RBM具有很好的性质在给定可见层单元状态时各隐单元的激活条件独立反之在给定隐单元状态时可见层单元的激活亦条件独立这样一来尽管RBM所表示的分布仍无法有效计算但通过Gbb采样Gbbampn可以得到RBM所表示分布的随机样本此外Rux和Bn从理论上证明只要隐单元足够多RBM能够拟合任意离散分布自HnnP于年提出了RBM的快速学习算法一对比散度onvdvgnCD之后机器学习界掀起了一轮研究RBMCD算法的理论及应用的热潮理论方面RBM的CD快速学习算法促进了研究者们对随机近似理论基于能量的模型未归一化的统计模型的研究应用方面RBM目前已被成功地应用于不同的机器学习问题如分类回归降维高维时间序列建模图像特征提取协同过滤等等M隐层QQX?隱层可见S可见层BM模型的结构RBM模型的结构图BM和RBM模型的结构比较年Hnn等人提出了一种深度信念网络dpbnDBN并给出了该模型的一个高效学习算法该算法至今仍是深度学习方法的主要框架在该算法中一个DBN模型被视为由若干个RBM堆叠在一起形成训练时可通过由低到高逐层训练RBM来实现底部RBM以原始输入数据训练将底部RBM抽取的特征作为顶部RBM的输入训练过程和可以重复来训练所需要的尽可能多的层数由于RBM可以通过CD算法快速训练这一框架绕过了直接从整体上训练DBN的高复杂度从而将其化简为对多个RBM的训练问题Hnn建议经过这种方式训练后可以再通过传统的全局学习算法如反向传播算法对网络进行微调使模型收敛到局部最优点这种学习算法本质上等同于通过逐层RBM训练为模型寻找一个较好的参数初始值这样一来不仅解决了模型训练速度慢的问题大量试验结果也表明这种方式能够产生非常好的参数初始值使得模型的建模能力也大大提升自此机器学习领域又产生了一个新的研究方向一深度学习dpnn明确提出了设计面向人工智能的机器学习算法的目标第期张春霞等受限波尔兹曼机当前以RBM为基本构成模块的DBN模型被认为是最有效的深度学习算法之一鉴于RBM在深度学习领域中占据的核心位置及其本身的良好性质为了给RBM的初学者提供入门指导同时为设计与之相关的新算法提供参考本文将对RBM进行较为系统的介绍详细阐述其基本模