AdaBoost阶段小结.ppt

提纲?前期调研?AdaBoost原理?一些问题前期调研?PAC学习模型[2-3] 机器学习中,训练样本再大也不能代表某类事物本身,所以从训练样本中学习得到“规则”不能对某类事物完全适用,总有失效的情况出现,所以机器学习的目标是概率逼近正确学习!1984年Valiant提出PAC(Probably Approximately Correct)学习模型文中提出强学习和弱学习两个概念。?Valiant的贡献Valiant指出弱学习转换为强学习的可行性!实际运用中,人们根据生产经验可以较为容易的找到弱学习方法,但是很多情况下要找到强学习方法是不容易的。有时候人们倾向于通过先找到弱学习然后把它转换为强学习的方式获取强学习方法,而Valiant证明了这种方式的可行性。?怎样实现弱学习转为强学习核心思想:通过组合使弱学习互补。学习是不适定问题,在有限的样本上,不同的学习方法得到不同的“规则”,并在不同的情况下失效,没有一种学习算法总是在任何领域产生最好的分类效果。例如:学习算法A在a情况下失效,学习算法B在b情况下失效,那么在a情况下可以用B算法,在b情况下可以用A算法解决。这说明通过某种合适的方式把各种算法组合起来,可以提高准确率。为实现弱学习互补,面临两个问题:(1)怎样获得不同的弱分类器?(2)怎样组合弱分类器??怎样获得不同的弱分类器?使用不同的弱学习算法得到不同基学习器参数估计、非参数估计…?使用相同的弱学习算法,但用不同的超参数K-Mean不同的K,神经网络不同的隐含层…?相同输入对象的不同表示不同的表示可以凸显事物不同的特征?使用不同的训练集装袋(bagging)提升(boosting)?怎样组合弱分类器?多专家组合一种并行结构,所有的弱分类器都给出各自的预测结果,通过“组合器”把这些预测结果转换为最终结果。(voting)及其变种、混合专家模型?多级组合一种串行结构,其中下一个分类器只在前一个分类器预测不够准(不够自信)的实例上进行训练或检测。eg. 级联算法(cascading)?小结通过前期调研我比较关注是boosting原理。 bagging在给定样本上随机抽取(有放回)训练子集,在每个训练子集上用不稳定的学习算法训练分类不同弱分类器。boosting在前一个弱分类器错分的实例在后续的弱分类器上得到更大的重视。从训练子集的获取方式上看:bagging靠“运气”,boosting有“依据”!所谓不稳定学习算法是指训练集很小的变化会引起所产生的分类器变化很大,即学习算法高方差。例如,决策树。