《06.受限波尔兹曼机_于翮》.pptx.pptx

受限波尔兹曼机---从统计力学到深度置信网络 Boltzmann 分布?又名 Gibbs 分布? 1901 年?系统的状态,系统处于此状态的概率,系统具有的能量: ?当系统与周围热平衡时,系统的状态 i发生的概率为?=?其中为状态的能量, ( Partition function ), T为状态的温度, 为波尔兹曼机常数?机器学习的目地?最大可能地拟合输入数据?设想输入数据是由一个分布产生?目的:找到这个分布?描述数据的特征,实现学习的目的?问题: ?只有输入数据的样本,没有其分布,也不知道其分布的形式?能量模型的引入能量模型?能量模型引入的意义?学习的目标:拟合输入的数据?问题:未知分布? ?任何概率分布都可以转变成基于能量的模型?捕获变量之间的相关性,定义基于能量的概率度量 Boltzmann 分布与神经网络?在神经网络中 T是伪温度。令?=?使用状态的能量来分析系统处于这种状态的概率的大小?给神经网络的每种状态赋于一个能量值?状态的分布服从 boltzmann 分布?波尔兹曼机? 1986 年, Hinton 与 Sejnowski 《 Learning and relearning in Boltzmann machines 》?根植于统计力学的随机神经网络随机神经网络?兴奋和抑制具有随机性?由概率决定?向误差或能量函数减小的方向运行的概率大?向误差或能量函数增加的方向运行的概率存在?保证跳出局部最小值的可能性。波尔兹曼机的能量函数与神经元?波尔兹曼机的能量函数: ?神经元 i 的全部输入信号总和为:?- = ?波尔兹曼机的能量分析?网络中任意两个状态 S1 和 S2 出现的概率分别为?可以从只有一个神经元状态差别的两个网络状态推广至所有状态?能量低的状态出现的概率大?能量高的状态出现的概率小?温度 T 对状态也影响----> 模拟退火算法。?T 很高时,等式右边走向于 1 ,即不同状态概率差异很小?T 很低时,几乎不可能处于能量高的状态。?运行至平衡态?使用模拟退火算法?对网络进行初始化,设置各初始参数?在?若,生成随机数,比较概率设置?判断其在?降低温度直到满足停机条件?