Adaboost算法原理及简单实现.pptx

Adaboost算法原理及简单实现目录背景简介1Adaboost原理简介2实验3背景简介Bagging 和Boosting都是分类器的集成技术,Bagging 出现在Boosting之前。这种算法都比较简单,只是将分类器进行简单的组合,实际上,并没有发挥出分类器组合的威力来。之后在1990年,Schapire提出了Boosting算法,次年Freund改进Boosting算法,这两种算法存在共同的实践上的缺陷, 那就是都要求事先知道弱学习算法学习正确率的下限。1995 年,Freund和Schapire共同改进了Boosting算法,提出了AdaBoost(AdaptiveBoosting) 算法,该算法效率和Freund于1991年提出的Boosting算法几乎相同, 但不需要任何关于弱学习器的先验知识, 因而更容易应用到实际问题当中。Adaboost原理简介Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的,它根据每次训练集之中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练,最后将每次训练得到的分类器最后融合起来作为最后的决策分类器。  DiscreteAdaBoost::初始赋予每个样本相等的权重;基分类器个数L;=1,2,…,LDo根据分布从训练数据集中抽取样本;将用作训练数据集建立一个分类器;计算该分类器的加权训练误差;若则令=,重新训练分类器;否则,计算;,。实验数据集:LISSAJOUSFIGUREDATA(p42)训练数