受限玻尔兹曼机RBM.ppt

受限玻尔兹曼机陈文根2016-6-(BM)(RBM)结构玻尔兹曼机(BM)Ising模型 Ising模型是统计物理中迄今为止唯一的一个同时具备:表述简单、内涵丰富、应用广泛这三种优点的模型。 Ising模型最早的提出者是WilhelmLenz(1920)。后来,他让他的学生ErnstIsing对一维的Ising模型进行求解,但是并没有发现相变现象,因此也没有得到更多物理学家的关注。随后,著名的统计物理学家LarsOnsager于1944年对二维的Ising模型进行了解析求解,并同时发现了二维Ising模型中的相变现象,。假设第个i节点是一个小磁针,每个小磁针有上下两种状态,我们用si来表示这个状态,并且si={1,-1}。表示磁针朝上或者朝下。网格上相邻的两个小磁针可以发生相互作用。玻尔兹曼机能量函数我们可以通过总能量的概念来刻画这种相互作用:即如果两个相邻方格的小磁针状态一致(例如都是朝上),则系统的总能量减1单位,否则如果不同就加1单位。外界还可能存在磁场,如果小磁针方向与外场方向一致,则能量也会降低。我们定义总能量:其中J为一个能量耦合常数,E{si}表示系统处于状态组合{si}下的总能量。求和下标表示对所有相邻的两个小磁针进行求和。我们看到,如果si=sj,则总能量就会减少J。H表示外界磁场的强度,它是一个参数,如果外界磁场向上H为正,否则为负。如果某个小磁针的方向与外场一致,则总能量减少一个单位。玻尔兹曼机玻尔兹曼机简介BM的原理起源于统计物理学,是一种基于能量函数的建模方法,能够描述变量之间的高阶相互作用,BM的学习算法较复杂,但所建模型和学习算法有比较完备的物理解释和严格的数理统计理论作基础。BM是一种对称耦合的随机反馈型二值单元神经网络,由可见层和多个隐层组成,网络节点分为可见单元(visibleunit)和隐单元(hiddenunit),用可见单元和隐单元来表达随机网络与随机环境的学习模型,通过权值表达单元之间的相关性。玻尔兹曼机玻尔兹曼机简介(续)BM是由Hinton和Sejnowski提出的一种随机递归神经网络,可以看做是一种随机生成的Hopfield网络,是能够通过学习数据的固有内在表示解决困难学习问题的最早的人工神经网络之一,因样本分布遵循玻尔兹曼分布而命名为BM。BM由二值神经元构成,每个神经元只取1或0这两种状态,状态1代表该神经元处于接通状态,状态0代表该神经元处于断开状态。玻尔兹曼机结构能量函数定义为:根据规则,如果与神经元i相邻的所有神经元都激活,并且它们的连接权重为正的话,那么该神经元就有可能被激活。这就相当于最小化一个全局的能量函数。受限玻尔兹曼机(RBM)简介 Smolensky提出的RBM由一个可见神经元层和一个隐神经元层组成,由于隐层神经元之间没有相互连接并且隐层神经元独立于给定的训练样本,这使直接计算依赖数据的期望值变得容易,可见层神经元之间也没有相互连接,通过从训练样本得到的隐层神经元状态上执行马尔可夫链抽样过程,来估计独立于数据的期望值,并行交替更新所有可见层神经元和隐层神经元的值。受限玻尔兹曼机结构RBM网络结构有m个可视节点和n个隐藏节点