数据挖掘RNN算法讲课实用教案.pptx

目录(mùlù)
1：深度学习发展史
2：从神经网络到深度学习
3：循环神经网络基础
1
第1页/共30页
第一页，共30页。
1：深度(shēndù)学习发展史
2
第2页/共30页
第二页，共30页。
深度(shēndù)学习发展史
SVM
Boosting
Decision tree
KNN
…
Neural network
Back propagation
1986
2006
Deep belief net
Science
Speech
2011
2012
Computer vision
NLP
Speech
……
2014
Geoffrey Hinton
1949
Learning model
of neurons
1958
Perceptron
Hebb
Rosenblatt
Geoffrey Hinton
DBN
CNN
RBM
RNN
…
机器(jī qì)学习第一次浪潮：
机器学习(xuéxí)第二次浪潮
浅层学习模型
(Shallow Learning)
深度学习模型
(Deep Learning)
First Winter of NN
Second Winter of NN
3
第3页/共30页
第三页，共30页。
synapse
dendrite
Cell body
Synaptic
terminals
Axon
轴突末梢(mòshāo)
突触
树突
细胞体
轴突
w1
x1
xn
Σ
线性动态系统
激励函数
o
wn
神经元是构成神经网络的最基本单元(dānyuán)(构件), 因此, 首要任务是构造人工神经元模型。
细胞体Cell body
树突dendrite
突触synapse
轴突Axon
来自其它神经元
神经元模型(móxíng)
4
第4页/共30页
第四页，共30页。
y
θ
y
a
x
o
x2
x1
xn
w1
w2
wn
•
•
•
w1
x1
xn
Σ
激励函数
o=f(net)
wn
net = WTX
典型的激励函数(hánshù)(Activation Function)：
线性函数(hánshù)，非线性斜面函数(hánshù)，阶跃函数(hánshù)，
S型函数(hánshù)等。
神经元模型(móxíng)
5
第5页/共30页
第五页，共30页。
Input Layer
Hidden Layer
Output Layer
x1
xM
h1
hL
o1
oN
w11
wm1
wM1
wmL
wML
w1L
v11
vl1
vL1
vLN
神经网络一般(yībān)形式
• Nonlinearity 非线性
• Parallel Processing 并行处理
• Input—Output Mapping 输入输出匹配(pǐpèi)
• Adaptivity 自适应性
o
c
x2
x1
xn
w1
w2
wn
•
•
•
6
第6页/共30页
第六页，共30页。
2：从神经网络到深度(shēndù)学习
7
第7页/共30页
第七页，共30页。
神经网络
深度学习(xuéxí)网络
相似之处：
不同之处：
模拟(mónǐ)人脑的分层网络结构；
强调(qiáng diào)深度的重要性；
突出特征学习的重要性；（逐层抽象）
训练机制；
8
第8页/共30页
第八页，共30页。
为什么需要(xūyào)深度？
深层网络具有刻画复杂(fùzá)函数的能力
9
第9页/共30页
第九页，共30页。
3：循环(xúnhuán)神经网络（RNN）
10
第10页/共30页
第十页，共30页。