深度学习常用模型 PPT.pptx

深度学习常用模型
深度学习常用模型
AutoEncoder
Sparse Coding
Restricted Boltzmann Machine (RBM)
Deep Belief Networks
Convolutional Neural Networks
目录
2

一种尽可能复现输入信号的神经网络。
必须捕捉可以代表输入数据的最重要的因素。
具体过程如下。
3
1. AutoEncoder
，用非监督学习学习特征
4
现在我们只有无标签数据，那么这个误差怎么得到呢？

5
通过调整encoder和decoder的参数，使得重构误差最小
误差的来源就是直接重构后与原输入相比得到

。
将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种，
（1）只调整分类器（黑色部分）：
6
AutoEncoder
。
将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种，
（2）通过有标签样本，微调整个系统
7
一旦监督训练完成，这个网络就可以用来分类了
此外，AutoEncoder存在一些变体， 如Sparse AutoEncoder、 Denoising AutoEncoders（训练数据中加入噪声）
Coding
利用线性代数中基的概念，即O = a1*Φ1 + a2*Φ2+….+ an*Φn， Φi是基，ai是系数，我们可以得到这样一个优化问题：
Min |I – O|，I表示输入，O表示输出。
通过求解这个最优化式子，我们可以求得系数ai和基Φi，这些系数 和基就是输入的另外一种近似表达。
8
9
大家应该也有点累了，稍作休息
大家有疑问的，可以询问和交流
Coding
就是将一个信号表示为一组基的线性组合，而且要求只需要较少的几个基就可以将信号表示出来。“稀疏性”定义为：只有很少的几个非零元素或只有很少的几个远大于零的元素。
稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据（也就是说，基向量的个数比输入向量的维数要大） 。
10