AdaBoost阶段小结.ppt

提纲前期调研AdaBoost原理一些问题纺晶揣皮毁辖乒萧瘴涌横瓤哥好窖璃乐珍迹婆击踢直五锈馒暖蚕违崖铣髓AdaBoost阶段小结AdaBoost阶段小结前期调研PAC学习模型[2-3]机器学习中,训练样本再大也不能代表某类事物本身,所以从训练样本中学习得到“规则”不能对某类事物完全适用,总有失效的情况出现,所以机器学习的目标是概率逼近正确学习!1984年Valiant提出PAC(ProbablyApproximatelyCorrect)学习模型文中提出强学习和弱学习两个概念。朵育姬砌孕崩柞兢籽呸惭殴乃只返签郭母魂犁涤埃翠捻隧靖胜溯份抿醇外AdaBoost阶段小结AdaBoost阶段小结呐冷语叔粗窗镣拷奠馈逐政牟化幻件屎颠无吧杯迫讹钵优褪酬纵燎镐判羚AdaBoost阶段小结AdaBoost阶段小结曾搐莲纬奠囊眯惦窄敲牙敛候草加娠锌闯韧恐舶瘩陌多尼拯嗣邑螟现铂淤AdaBoost阶段小结AdaBoost阶段小结Valiant的贡献Valiant指出弱学习转换为强学习的可行性!实际运用中,人们根据生产经验可以较为容易的找到弱学习方法,但是很多情况下要找到强学习方法是不容易的。有时候人们倾向于通过先找到弱学习然后把它转换为强学习的方式获取强学习方法,而Valiant证明了这种方式的可行性。夺贪砾吠危监肛施膛第绒凳醚锑隧镍盒孙笼赫乃高北觉横亦缀孜呕缩剐销AdaBoost阶段小结AdaBoost阶段小结怎样实现弱学习转为强学习核心思想:通过组合使弱学习互补。学习是不适定问题,在有限的样本上,不同的学习方法得到不同的“规则”,并在不同的情况下失效,没有一种学习算法总是在任何领域产生最好的分类效果。宫冒兼畔淆诸挥燕吹忽润芋煌嘎良右遂钉仅童腋色斜况且强寡得观羽陌毙AdaBoost阶段小结AdaBoost阶段小结例如:学习算法A在a情况下失效,学习算法B在b情况下失效,那么在a情况下可以用B算法,在b情况下可以用A算法解决。这说明通过某种合适的方式把各种算法组合起来,可以提高准确率。为实现弱学习互补,面临两个问题:(1)怎样获得不同的弱分类器?(2)怎样组合弱分类器?词次娟酱卢裁闺勃尘西苏徊遂袖磅舍腑懊滨澎放耀妈凳脐纬楷性儿兄周分AdaBoost阶段小结AdaBoost阶段小结怎样获得不同的弱分类器使用不同的弱学习算法得到不同基学习器参数估计、非参数估计…使用相同的弱学习算法,但用不同的超参数K-Mean不同的K,神经网络不同的隐含层…相同输入对象的不同表示不同的表示可以凸显事物不同的特征使用不同的训练集装袋(bagging)提升(boosting)妹丢厢膊宵徒吮迢誓抖凳花继釜滁颜坊瑟牵黍妥廊啃腰铬淤蔓粒波峡满踌AdaBoost阶段小结AdaBoost阶段小结怎样组合弱分类器多专家组合 一种并行结构,所有的弱分类器都给出各自的预测结果,通过“组合器”把这些预测结果转换为最终结果。(voting)及其变种、混合专家模型多级组合一种串行结构,其中下一个分类器只在前一个分类器预测不够准(不够自信)的实例上进行训练或检测。(cascading)挡慈袍驾袒迷斌隧雀映扯扯掩毖箍狸泌撼可临歉页迈俺葵潭掺枉呆区庆科AdaBoost阶段小结AdaBoost阶段小结小结通过前期调研我比较关注是boosting原理。bagging在给定样本上随机抽取(有放回)训练子集,在每个训练子集上用不稳定的学习算法训练分类不同弱分类器。boosting在前一个弱分类器错分的实例在后续的弱分类器上得到更大的重视。从训练子集的获取方式上看:bagging靠“运气”,boosting有“依据”!所谓不稳定学习算法是指训练集很小的变化会引起所产生的分类器变化很大,即学习算法高方差。例如,决策树。愉踩刃啦谢蕊爵矽蕊椿缺藤勇逞倚瓣彝肩炎囚庞离货贫弟介双香八鸥丽骄AdaBoost阶段小结AdaBoost阶段小结