rbm dbn rnn资料综合.doc

------------------------------------------------------------------------------------------------ —————————————————————————————————————— RBM DBN RNN 资料综合 、 Restricted Boltzmann Machine (RBM) 限制波尔兹曼机假设有一个二部图, 每一层的节点之间没有链接, 一层是可视层, 即输入数据层( v), 一层是隐藏层(h) , 如果假设所有的节点都是随机二值变量节点(只能取 0 或者 1值) ,同时假设全概率分布 p(v,h) 满足 Boltzmann 分布,我们称这个模型是 RestrictedBoltzmannMachine (RBM) 。下面我们来看看为什么它是 Deep Learning 方法。首先,这个模型因为是二部图, 所以在已知 v 的情况下, 所有的隐藏节点之间是条件独立的( 因为节点之间不存在连接),即 p(h|v)=p(h1|v) … p(hn|v) 。同理, 在已知隐藏层 h 的情况下,所有的可视节点都是条件独立的。同时又由于所有的 v和h 满足 Boltzmann 分布, 因此, 当输入 v 的时候, 通过 p(h|v) 可以得到隐藏层 h ,而得到隐藏层 h 之后,通过 p(v|h) 又能得到可视层, 通过调整参数, 我们就是要使得从隐藏层得到的可视层 v1 与原来的可视层 v 如果一样,那么得到的隐藏层就是可视层另外一种表达, 因此隐藏层可以作为可视层输入数据的特征, 所以它就是一种 Deep Learning 方法。------------------------------------------------------------------------------------------------ ——————————————————————————————————————如何训练呢?也就是可视层节点和隐节点间的权值怎么确定呢?我们需要做一些数学分析。也就是模型了。联合组态( jointconfiguration )的能量可以表示为: 而某个组态的联合概率分布可以通过 Boltzmann 分布( 和这个组态的能量)来确定: 因为隐藏节点之间是条件独立的(因为节点之间不存在连接), 即: 然后我们可以比较容易(对上式进行因子分解 Factorizes )得到在给定可视层 v 的基础上,隐层第 j 个节点为 1 或者为 0 的概率: 同理,在给定隐层 h 的基础上,可视层第 i 个节点为 1 或者为 0 的概率也可以容易得到: 给定一个满足独立同分布的样本集: D={v, v,…,v 要学习参数θ={W,a,b} 。(1)(2)(N)} ,我们需我们最大化以下对数似然函数( 最大似然估计: 对于某个概率模型,我们需要选择一个参数,让我们当前的观测样本的概率最大): 也就是对最大对数似然函数求导, 就可以得到 L 最大时对应的参数W 了。如果, 我们把隐藏层的层数增加, 我们可以得到 Deep Boltzmann Machine(DBM) ;如果我们在靠近可视层的部分使用贝叶斯信念网络(即有向图模型,当然这里依然限制层中节点之间没有链接) ,而在最远离可视层的部分使用 Restricted Boltzmann Machine , 我们可以得------------------------------------------------------------------------------------------------ ——————————————————————————————————————到 ( DBN )。 、 Deep works 深信度网络 DBNs 是一个概率生成模型, 与传统的判别模型的神经网络相对, 生成模型是建立一个观察数据和标签之间的联合分布, 对 P(Observation|Label) 和 P(Label|Observation) 都做了评估, 而判别模型仅仅而已评估了后者, 也就是 P(Label|Observation) 。对于在深度神经网络应用传统的 BP 算法的时候, DBNs 遇到了以下问题: (1 )需要为训练提供一个有标签的样本集; (2 )学习过程较慢; (3 )不适当的参数选择会导致学习收敛于局部最优解。 DBNs 由多个限制玻尔兹曼机( Restricted Boltzmann Machines ) 层组成,一个典型的神经网络类型如图三所示。这些网络被“限制”为一个可视层和一个隐层, 层间存在连接, 但层内的单元间不存在连接。隐层单元被训练去捕捉在可视