粒子群算法.doc

4. 遗传算法和 PSO 的比较[编辑本段] 大多数演化计算技术都是用同样的过程 (fitness value). 适应值与最优解的距离直接有关 ,就停止,否则转步骤 2 从以上步骤,我们可以看到 PSO 和 GA 有很多共同之处。两者都随机初始化种群,而且都使用适应值来评价系统,而且都根据适应值来进行一定的随机搜索。两个系统都不是保证一定找到最优解但是, PSO 没有遗传操作如交叉(crossover) 和变异(mutation). 而是根据自己的速度来决定搜索。粒子还有一个重要的特点,就是有记忆。与遗传算法比较, PSO ,染色体(chromosomes) 互相共享信息, PSO 中,只有 gBest (or lBest) 给出信息给其他的粒子,,在大多数的情况下,所有的粒子可能更快的收敛于最优解 5. 人工神经网络和 PSO [编辑本段] 人工神经网络(ANN) 是模拟大脑分析过程的简单数学模型,反向转播算法是最流行的神经网络训练算法。进来也有很多研究开始利用演化计算(putation) 技术来研究人工神经网络的各个方面。演化计算可以用来研究神经网络的三个方面:网络连接权重,网络结构(网络拓扑结构,传递函数),网络学习算法。不过大多数这方面的工作都集中在网络连接权重,和网络拓扑结构上。在 GA 中,网络权重和/或拓扑结构一般编码为染色体(Chromosome) ,适应函数(fitness function) 的选择一般根据研究目的确定。例如在分类问题中,错误分类的比率可以用来作为适应值演化计算的优势在于可以处理一些传统方法不能处理的例子例如不可导的节点传递函数或者没有梯度信息存在。但是缺点在于:在某些问题上性能并不是特别好。 PSO 来代替反向传播算法来训练神经网络的论文。研究表明 PSO 是一种很有潜力的神经网络算法。 PSO 速度比较快而且可以得到比较好的结果。而且还没有遗传算法碰到的问题这里用一个简单的例子说明 PSO 训练神经网络的过程。这个例子使用分类问题的基准函数(Benchmark function)IRIS 数据集。(Iris 是一种鸢尾属植物)在数据记录中,每组数据包含 Iris 花的四种属性:萼片长度,萼片宽度,花瓣长度,和花瓣宽度,三种不同的花各有 50 150 组数据或模式。我们用 3层的神经网络来做分类。现在有四个输入和三个输出。所以神经网络的输入层有 4个节点,输出层有 3个节点我们也可以动态调节隐含层节点的数目,不过这里我们假定隐含层有 6个节点。我们也可以训练神经网络中其他的参数。不过这里我们只是来确定网络权重。粒子就表示神经网络的一组权重,应该是 4*6+6*3=42 个参数。权重的范围设定为[-100 , 100] (这只是一个例子,在实际情况中可能需要试验调整). 在完成编码以后,我们需要确定适应函数。对于分类问题,我们把所有的数据送入神经网络,网络的权重有粒子的参数决定。然后记录所有的错误分类的数目作为那个粒子的适应值。现在我们就利用 PSO 来训练神经网络来获得尽可能低的错误分类数目。 PSO 本身并没有很多的参数需要调整。所以在实验中只需要调整隐含层的节点数目和权重的范围以取得较好的分类效果。 6. PSO 的参数设置[编辑本段] 从上面的例子我们可以看到应用 PS O解决优化问题的过程中有两个重要的步骤:问题解的编码和适应度函数 PSO 的一个优势就是采用实数编码, 不需要像遗传算法一样是二进制编码( 或者采用针对实数的遗传操作. 例如对于问题 f(x) = x1^2 + x2^2+x3^2 求解, 粒子可以直接编码为(x1, x2, x3), 而适应度函数就是 f(x). 接着我们就可以利用前面的过程去寻优. 这个寻优过程是一个叠代过程, 中止条件一般为设置为达到最大循环数或者最小错误 PSO 中并没有许多需要调节的参数,下面列出了这些参数以及经验设置粒子数: 一般取 20 – 40. 其实对于大部分的问题 10 个粒子已经足够可以取得好的结果, 不过对于比较难的问题或者特定类别的问题,粒子数可以取到 100 或 200 粒子的长度:这是由优化问题决定,就是问题解的长度粒子的范围:由优化问题决定,每一维可是设定不同的范围 Vmax: 最大速度, 决定粒子在一个循环中最大的移动距离, 通常设定为粒子的范围宽度, 例如上面的例子里