受限波尔兹曼机.pdf

第32卷第2期工程数学学报 。.2 2015年04月 CHINESEJOURNALOFENGINEERINGMATHEMATICS doi:.1005— 文章编号:1005—3085(2015)02— 受限波尔兹曼机木张春霞1,姬楠楠0,王冠伟0 (,西安710049;2一长安大学理学院,西安710064; 3一西安工业大学机电工程学院,西安7100211 摘要:受限波尔兹曼机(restrictedBoltzmannmachines,RBM)是一类具有两层结构、对称连接且无自反馈的随机神经网络模型,层间全连接,,随着RBM的快速学习算法一对比散度的出现,,RBM是一种有效的特征提取方法,用于初始化前馈神经网络可明显提高泛化能力,,本文对RBM的基本模型、学习算法、参数设置、评估方法、变形算法等进行了详细介绍,最后探讨了RBM在未来值得研究的方向. 关键词:机器学习;深度学习;受限波尔兹曼机;对比散度;Gibbs采样分类号:AMS(2000)92B20;68T05 中图分类号:TP181;O235 文献标识码:A 1 引言机器学习研究的主要任务是设计和开发计算机根据实际数据进行“智能学习”的算法,,各种机器学习算法在人工智能、工程应用、(work,ANN)J1,2】作为一种通过模仿生物神经网络的结构和功能而建立起来的计算模型,因其自学习、白组织、较好的容错性和优良的非线性逼近能力等优点,而受到众多领域学者的广泛关注. 在诸多人工神经网络模型中,波尔兹曼机(Boltzmannmachine,BM)【3]是Hinton和 ,其输出只有两种状态(未激活、激活),一般用二进制的0和1表示,,BM是由随机神经元全连接组成的反馈神经网络, 且对称连接,无自反馈,包含一个可见层和一个隐层的BM模型,如图l(a)所示. BM具有强大的无监督学习能力,,拥有这种学习能力的代价是其训练(学习),BM所表示的分布不仅无法确切计算,,Smolensky[4】引入了一种限制的波尔兹曼机frestricted 收稿日期:2013—08-:张春霞(1980年6月生),女,博士,:模式识别与集成学习’基金项目:国家重点基础研究发展计划973项目(2013CB329406);国家自然科学基金重大研究计划(91230101) 国家自然科学基金(11201367);中央高校基本科研业务费专项基金(xjj2011048). 第2期张春霞,等:受限波尔兹曼机 161 当前,以RBM为基本构成模块的DBN模型被认为是最有效的深度学习算法之一. 鉴于RBM在深度学习领域中占据的核心位置及其本身的良好性质,为了给RBM的初学者提供入门指导,同时为设计与之相关的新算法提供参考,本文将对RBM进行较为系统的介绍,详细阐述其基本模型、具有代表性的快速学习算法、参数设置、评估方法及其变形算法,最后对RBM在未来值得研究的方向进行探讨. 本文后续内容安排如下:第2节介绍受限波尔兹曼机RBM的基本模型,第3节详细阐述当前训练RBM的快速学习算法,第4节讨论RBM的参数设置,第5节给出评价RBM优劣的方法,第6节简单介绍几种具有代表性的RBM变形算法,第7节是总结与展望,主要探讨RBM在未来值得研究的方向. 2 受限波尔兹曼机RBM的基本模型 RBM也可以被视为一个无向图(undirectedgraph)模型,,表示观测数据,h为隐层,可视为一些特征提取器(featuredetectors),[19】指出,RBM中的隐单元和可见单元可以为任意的指数族单元(即给定隐单元(可见单元),可见单元(隐单元)的分布可以为任意的指数族分布), 如softmax单元、高斯单元、,为了讨论方便起见,我们假设所有的可见单元和隐单元均为二值变量,即对任意的i,J,Vt∈{0,1), ∈{0,1’. W 隐层h 可见层v 图2:RBM的图模型表示,层内单元之间无连接如果一个RBM有竹个可见单元和m个隐单元,用向