Boltzmann分布
机器学习的目地
最大可能地拟合输入数据
设想输入数据是由一个分布产生
目的:找到这个分布
描述数据的特征,实现学习的目的
问题:
只有输入数据的样本,没有其分布,也不知道其分布的形式
能量模型的引入
能量模型
能量模型引入的意义
学习的目标:拟合输入的数据
问题:未知分布?
任何概率分布都可以转变成基于能量的模型
捕获变量之间的相关性,定义基于能量的概率度量
Boltzmann分布与神经网络
波尔兹曼机
1986年,Hinton与 Sejnowski 《 Learning and relearning in Boltzmann machines》
根植于统计力学的随机神经网络
随机神经网络
兴奋和抑制具有随机性
由概率决定
向误差或能量函数减小的方向运行的概率大
向误差或能量函数增加的方向运行的概率存在
保证跳出局部最小值的可能性。
波尔兹曼机的能量函数与神经元
波尔兹曼机的能量分析
运行至平衡态
波尔兹曼机的学习过程
受限波尔兹曼机 于翮 来自淘豆网m.daumloan.com转载请标明出处.
