理解玻尔兹曼机和深度学习.ppt

该【理解玻尔兹曼机和深度学习 】是由【tieruogong】上传分享，文档一共【39】页，该文档可以免费在线阅读，需要了解更多关于【理解玻尔兹曼机和深度学习 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。理解玻尔兹曼机和深度学习
单击此处添加副标题
侯越先
天津大学网络智能信息技术研究所
2014-11-03
CLICK HERE TO ADD A TITLE
解释玻尔兹曼机（BM）和深度学习（DL）模型的经验成功
01.
启发面向维数约简、信息抽象和去噪应用的新颖方法和模型
02.
动机
神经生理解释
01
通用近似解释（可近似性和近似复杂性）
02
规则化解释
03
存在的解释
现有解释中包含了有益的启发
现有解释远不完备，玻尔兹曼机和深度学习的有效性需要基于“第一原则”的形式化澄清
信息几何为形式化解释提供了理论工具
02
01
03
我们的观点
维数约简、信息抽象和去噪的“第一原则”
第一原则：维数约简、信息抽象和去噪应该尽可能地保留数据中的主要信息，同时滤除噪声或次要信息
01
“第一原则”能否被一般地实现？
02
存在的方法
常用维数约简、信息抽象和去噪算法实现了“第一原则”吗？
例子：PCA
例子：低通滤波
基于特征空间的模型似乎都建议在特定先验假设之上
1
为了更一般地实现维数约简、信息抽象和去噪目的，有必要考虑替换的数据表示空间
2
反思
1
根据参数的相对重要性，在参数空间中实现维数约简、信息抽象和去噪
3
2
一般地定义生成模型的参数的相对重要性
考虑数据的参数空间！
我们的基本思路
例子：log-linear分布族与高斯分布
满足
参数约减！
如何一般地定义参数的相对重要性？
解决方案：
定义概率分布或密度之间的距离度量
由参数相对于距离度量的重要性给出参数之间的相对重要性
关键技术问题