多层神经网络mlp快速入门.ppt

多层神经网络MLP快速入门
第一页，共30页。
目录
CONTENTE
神经元模型
1
感知机与多层神经网络
2
应用一：MLP分类器
3
应用二：MLP的3D可视化
4
第二页，共30页。
神经元的输出。
第六页，共30页。
感知机与多层神经网络
前馈神经网络是最先发明也是最简单的人工神经网络。它包含了安排在多个层中的多个神经元（节点）。相邻层的节点有连接或者边（edge）。所有的连接都配有权重。
第七页，共30页。
感知机与多层神经网络
一个前馈神经网络可以包含三种节点：
1. 输入节点：输入节点从外部世界提供信息，总称为「输入层」。在输入节点中，不进行任何的计算——仅向隐藏节点传递信息。
2. 隐藏节点：隐藏节点和外部世界没有直接联系（由此得名）。这些节点进行计算，并将信息从输入节点传递到输出节点。隐藏节点总称为「隐藏层」。尽管一个前馈神经网络只有一个输入层和一个输出层，但网络里可以没有也可以有多个隐藏层。
3. 输出节点：输出节点总称为「输出层」，负责计算，并从网络向外部世界传递信息。
在前馈网络中，信息只单向移动——从输入层开始前向移动，然后通过隐藏层（如果有的话），再到输出层。在网络中没有循环或回路（前馈神经网络的这个属性和递归神经网络不同，后者的节点连接构成循环）。
第八页，共30页。
感知机与多层神经网络
多层感知器（Multi Layer Perceptron，即 MLP）包括至少一个隐藏层（除了一个输入层和一个输出层以外）。单层感知器只能学习线性函数，而多层感知器也可以学习非线性函数。
第九页，共30页。
感知机与多层神经网络
训练我们的多层感知器
BP算法（backpropagation），反向传播误差算法，是几种训练人工神经网络的方法之一。这是一种监督学的训练数据来学习（有监督者来引导学习）。
由前向传播和后向传播构成。
简单说来，BackProp 就像「从错误中学习」。监督者在人工神经网络犯错误时进行纠正。学习的目的是为分配正确的权重。通过输入向量，这些权重可以决定输出向量。
前向传播：最初，所有的边权重（edge weight）都是随机分配的。对于所有训练数据集中的输入，人工神经网络都被激活，并且观察其输出。
后向传播：这些输出会和我们已知的、期望的输出进行比较，误差会「传播」回上一层。该误差会被标注，权重也会被相应的「调整」。该流程重复，直到输出误差低于制定的标准。
第十页，共30页。
感知机与多层神经网络
上述算法结束后，我们就得到了一个学习过的人工神经网络，该网络被认为是可以接受「新」输入的。
该人工神经网络可以说从几个样本（标注数据）和其错误（误差传播）中得到了学习。
然后我们看一个案例。
第十一页，共30页。
感知机与多层神经网络
我们通常在感知器的输出层中使用 Softmax 函数作为激活函数，以保证输出的是概率并且相加等于 1。
Softmax 函数接收一个随机实值的分数向量，转化成多个介于 0 和 1 之间、并且总和为1 的多个向量值。所以，在这个例子中：
概率（Pass）+概率（Fail）=1
第十二页，共30页。
感知机与多层神经网络
第十三页，共30页。
感知机与多层神经网络
如果我们现在再次向网络输入同样的样本，网络应该比之前有更好的表现，因为为了最小化误差，已经调整了权重。如图 7 所示，和之前的 [, -] 相比，输出节点的误差已经减少到了 [, -]。
这意味着我们的网络已经学习了如何正确对第一个训练样本进行分类。
第十四页，共30页。
应用一：MLP分类器
第十五页，共30页。
应用一：MLP分类器
第十六页，共30页。
应用一：MLP分类器
第十七页，共30页。
应用一：MLP分类器
第十八页，共30页。
应用一：MLP分类器
第十九页，共30页。
应用一：MLP分类器
第二十页，共30页。
应用一：MLP分类器
第二十一页，共30页。
应用一：MLP分类器
第二十二页，共30页。
应用一：MLP分类器
第二十三页，共30页。
应用二：MLP的3D可视化
Adam Harley 创造了一个多层感知器的 3D 可视化（），并已经开始使用 MNIST 数据库手写的数字进行训练。
此网络从一个 28 x 28 的手写数字图像接受 784 个数字像素值作为输入（