深度学习介绍课件.ppt

该【深度学习介绍课件 】是由【tanfengdao】上传分享，文档一共【43】页，该文档可以免费在线阅读，需要了解更多关于【深度学习介绍课件 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。202X
深度学习简介
01
神经网络
03
展望
02
深度学习
介绍
常用方法
Stacked Auto-Encoder
Convolutional Neural Network
Deep Belief Network
评价与应用
主要内容
神经网络
在机器学习与认知识别领域中，人工神经网络是一类模拟生物神经网络（中枢神经网络，特别是大脑）的模型，用来预测（决策问题）或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重，使得神经网络可以自适应输入，并且拥有学习能力。
作为机器学习方法的一种，神经网络算法可以用来处理一系列传统方法无法处理或处理难度较大的问题，包括计算机视觉、语音识别方面等。
基本结构
添加标题
神经网络的基本单元是神经元。通过对所有输入的加权求和与非线性映射得到该神经元的输出（激活值）。
添加标题
神经网络按照拓扑结构，属于一神经元为节点，以及节点间有向连接为为边的一种图，大体分为层状与网状两大类。
添加标题
常用激活函数：
阈值函数
双向阈值函数
S型函数
双曲正切函数
高斯函数
添加标题
神经元模型
前馈网络结构
BP网络
前馈网络的逐层计算：
输入值从输入层单元通过连接权重加权激活逐层向前传播经过隐层最后到达输出层得到输出。在信号的向前传递过程中，网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。
反向传播算法：
网络的实际输出与期望输出之间的差值即为误差信号。误差信号由输出端开始逐层向前传播,这是误差信号的反向传播。在误差信号反向传播的过程中,网络的权值由误差反馈进行调节，通过权值的不断修正使网络的实际输出更加接近期望输出。
说明
代价函数
在遇到回归问题时，指定代价函数 以使目标变量的真实值和预测值的距离最小
代价函数描述了网络输出与真实值之间的误差。
通过随机梯度下降的方法最小化代价函数以提高网络精度
可以在代价函数中引入其他约束以满足设定要求
BP算法
反向传播与梯度下降
BP算法流程
S型函数导数
主要问题
主要问题
易陷入局部极小而得不到全局最优。
训练次数多使得学习效率低，收敛速度慢。
对于隐层和隐节点的个数选择,至今还没有一个具体的定论，缺乏理论指导。
训练时，学习新样本有遗忘旧样本的趋势
常用改进方法
添加动量项
采用改进的梯度下降法
MBP/MFBP算法
深度学习
深度学习的基础架构来自于前馈神经网络与BP算法，构造多层节点通过最小化代价函数的方法来提高分类精度。对于传统的ANN网络而言，由于多层网络训练的困难，实际使用的多数是只含有一层隐层节点的浅层模型。然而，不同于浅层的神经网络算法，深度学习更侧重于如何通过增加网络的深度，减小每层拟合的参数来提取出数据（尤其是语音与图像数据）的高层特征信息，从而达到更高的测试性能与分类精度。深度学习通过建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好地建立从底层信号到高层语义的映射关系。
传统的机器学习方法，在训练数据量到达一定规模后，算法的学习能力就饱和了，而深度学习见不到底。
深度学习
Any continuous function from input to output can be implemented in a three-layer net, given sufficient number of hidden units and proper nonlinearities in activation function and weights.
三层网络，足够多的节点，合适的激活函数与权重可以复现任意函数
deep models can give better approximation to nonlinear functions than shallow models.
深层的模型相较于浅层逼近效果更好