下载此文档

深度学习笔记.doc


文档分类:外语学习 | 页数:约11页 举报非法文档有奖
1/11
下载提示
  • 1.该资料是网友上传的,本站提供全文预览,预览什么样,下载就什么样。
  • 2.下载该文档所得收入归上传者、原创者。
  • 3.下载的文档,不会出现我们的网址水印。
1/11 下载此文档
文档列表 文档介绍
深度学------------------------------------------------------------------------------------------------深度学1介绍1989年Y.-%的识别率,获得前所未有的识别率。.2006年,加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章,开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点:1)多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;2)深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wisepre-training)来有效克服,在这篇文章中,逐层初始化是通过无监督学习实现的。BP算法存在的问题:(1)梯度越来越稀疏:从顶层越往下,误差校正信号越来越小;(2)收敛到局部最小值:尤其是从远离最优区域开始的时候(随机值初始化会导致这种情况的发生);——————————————————————————————————————------------------------------------------------------------------------------------------------(3)一般,我们只能用有标签的数据来训练:但大部分的数据是没标签的,而大脑可以从没有标签的的数据中学习;后向传播算法的梯度扩散&学习的局部最优和非稀疏性等问题DL最重要的步骤:第一步的特征学习过程K-means聚类算法2稀疏滤波样本的特征应该是稀疏,特征矩阵的每一列(一个样本)f(i),只有很少的非零元素。其他的都是0。要区分样本,就要选择样本独有的,而不是大家都有的特征。稍微学术点的表达就是,每个特征只允许在少量的样本内被激活。一般都要求提取到的特征是正交的单层非监督学习网络k-means效果竟然最好。因此在最后作者给出结论时的建议是,尽量使用whitening对数据进行预处理,每一层训练更多的特征数,采用更密集的方法对数据进行采样。3RBM限制性玻尔兹曼机上层是是随机隐含单元(像伯努利分布)可以看做是一些特征提取器[21],下层是随机的可见或可观测单元层(像伯努利分布或高斯分布)。——————————————————————————————————————------------------------------------------------------------------------------------------------5CNN:在MNIST、CIFAR-10、863语音和android-N来进行模式分卷积神经网络的示意图。输入的图像通过和三个可训练的滤波器进行卷积,卷积后在C1层产生三个特征映射图,然后特征映射图加权值和偏置后,通过一个sigmoid函数得到三个S2层的特征映射图。这些映射图再经过滤波得到C3层。这个层级结构再和S2一样产生S4。最终,这些像素值被光栅化,并连接成一个向量输入到传统的神经网络,最后得到输出。C层为特征提取层,每个神经元的输入与前一层的局部感受野相连,并提取该局部的特征,一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来;S层是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面上所有神经元的权值相等。100种卷积核就有100个FeatureMapC1层是一个卷积层(为什么是卷积,卷积运算一个重要的特点就是,通过卷积运算,可以使原信号特征增强,并且降低噪音),由6个特征图FeatureMap构成。特征图中每个神经元与输入中5*5——————————————————————————————————————------------------------------------------------------------------------------------------------的邻域相连。特征图的大小为28*28,这样能防止输入的连接掉到边界之外(是为了BP反馈时的计算,不致梯度损失,个人见解)。C1有156个可训练参数(每个滤波器5*5=25个unit参数和一个bias参数,一共6个滤波器,共(5*5+1)*6=156个参数),共156*(28*28)=122,304个连接。S2层是一个下采样层(为什么是下采样,利用图像局部相关性的原理,对图像进行子抽样,可以减少数据处理量同时保留有用信息),有6个14*14的特征图。特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。S2层每个单元的4个

深度学习笔记 来自淘豆网m.daumloan.com转载请标明出处.

相关文档 更多>>
非法内容举报中心
文档信息
  • 页数11
  • 收藏数0 收藏
  • 顶次数0
  • 上传人scuzhrouh
  • 文件大小29 KB
  • 时间2020-08-04
最近更新