遗传算法、神经算法、退火算法、模糊算法.ppt

1
计算智能
智能：在给定任务或目的下，能根据环境条件制定正确的策略和决策，并能有效地实现其目的的过程或能力。
信息：信息是用来消除观察者认识上的不确定性的度量。
智能信息处理：利用各种智能手段进行信息变换的过程，这里的各种智能手段inciples of Neurodynamics”，详述了他的感知器模型。该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功能。
1967年，Stephen Grossberg通过对生理学的研究，开发了一种称作雪崩网的神经网络模型，可以控制机器人手臂的运动。
在这一时期，由于感知器的某些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键。人们夸大了神经网络的潜力（有人甚至担心制造机器人的人类会很快受到机器人的攻击）
14
1 .1 神经网络的发展历史
反思期 —— 神经网络的低潮
1969年，Marvin Minsky和Seymour Papert合著了一本书“Perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为Rosenblatt的感知器判了“死刑”。
此时，批评的声音高涨，导致了停止对人工神经网络研究所需的大量投资。
不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。
15
1 .1 神经网络的发展历史
第二次高潮期 —— Hopfield网络模型的出现和人工神经网络的复苏
1982年，John Hopfield向美国科学院递交了有关神经网络的报告，主要内容就是建议收集和重视以前对神经网络的工作，其中特别强调了每种模型的实用性。
Hopfield揭示了以往的网络是如何工作的，可以做些什么，并提出了他自己的模型，能从失真的或不完善的数据图像中获得完整的数据图像，引起了美国军方的兴趣。
当时，人工智能对自动制导车的研究失败，而利用神经网络有可能解决这个问题，从而使人们的注意力重新投向人工神经网络，导致了人工神经网络的第二次高潮。
16
1 .1 神经网络的发展历史
1984年，Hopfield设计研制了后来被人们称为Hopfield网的电路，较好地解决了TCP问题，找到了最佳解的近似解，引起了较大轰动。
1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield网络中引入随机机制，提出了所谓的Bolziman机。
1986年， Rumelhart等研究者重新独立地提出多层网络的学习算法—BP算法，较好地解决了多层网络的学习问题。
1990年12月，国内首届神经网络大会在北京举行。
17
1 .2 神经网络的基本概念
生物神经网络：Biological Neural Network（BNN）
神经元： neuron
神经元经突触传递信号给其他神经元（胞体或树突）
1011个神经元/人脑
104个连接/神经元
神经元基本工作机制：
状态：兴奋与抑制
互联，激励，处理，阈值
18
1 .2 神经网络的基本概念
人工神经元模型(MP模型)：
多输入，单输出，带偏置
R个输入pi∈R，即R维输入矢量p
n: net input, n=Wp+b。
R个权值wi∈R，即R维权矢量w
阈值b
输出a=f(n)
19
1 .2 神经网络的基本概念
常用输出函数
(1)阈值函数：
20
1 .2 神经网络的基本概念
(2)线性输出函数 :
21
1 .2 神经网络的基本概念
(3)Sigmoid函数
特性：
值域a∈(0,1)
非线性，单调性
无限次可微
|n|较小时可近似线性函数
|n|较大时可近似阈值函数
22
1 .2 神经网络的基本概念
人工神经网络的拓扑结构
(1)前向网络:
23
1 .2 神经网络的基本概念
层次划分
信号只被允许从较低层流向较高层。
层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。
输入层：被记作第0层。该层负责接收来自网络外部的信息
24
1 .2 神经网络的基本概念
第j层：第j-1层的直接后继层（j>0），它直接接受第j-1层的输出。
输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。
隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号
25
1 .2 神经网络的基本概念
约定 :
输出层的层号为该网络的层数：n层网络，或n级网络。
第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵
26
1 .2 神经网络的基本概念
(2)反馈互连网络
27