具有Fisher一致性的代价敏感Boosting算法.doc

具有Fisher一致性的代价敏感Boosting算法.doc00006)
E-mail: ******@
+86-10-62562563
软件学报 ISSN 1000-9825, CODEN RUXUEW
Journal of Software ,2013,24(11):2584-2596 [doi: .]
?中国科学院软件研究所版权所有 .Tel/Fax:
具有Fisher 一致性的代价敏感 Boosting算法
曹莹苗启广刘家辰高琳
(西安电子科技大学 计算机学院，陕西西安710071)
通讯作者 :苗启广 ,E-mail: ******@
摘 要：AdaBoost 是一种重要的集成学习元算法 ，算法最核心的特性 “Boosting也是解决代价敏感学习问题的有
,各种代价敏感 Boosting算法，如AdaCost、AdaC系列算法、CSB系列算法等采用启发式策略 ，向
AdaBoost算法的加权投票因子计算公式或权值调整策略中加入代价参数 ，，这些
启发式策略没有经过理论分析的验证 ，对原算法的调整破坏了 AdaBoost算法最重要的 Boosting特性。AdaBoost
算法收敛于贝叶斯决策，与之相比，这些代价敏感 Boosting并不能收敛到代价敏感的贝叶斯决策 .针对这一问题，研
究严格遵循Boosting理论框架的代价敏感 ，对分类间隔的指数损失函数以及 Logit损失函数进
行代价敏感改造，可以证明新的损失函数具有代价意义下的 Fisher 一致性，在理想情况下，优化这些损失函数最终收
敛到代价敏感贝叶斯决策；其次，在 Boosting框架下使用函数空间梯度下降方法优化新的损失函数得到算法 AsyB
，与现有代价敏感Boosting算法相比,AsyB和AsyBL算法能够有
效逼近代价敏感贝叶斯决策;UCI数据集上的测试结果也进一步验证了 AsyB以及AsyBL算法能够生成有更低错
分类代价的代价敏感分类器，并且错分类代价随迭代呈指数下降 .
关键词：代价敏感学习；贝叶斯决策；Fisher —致性;AdaBoost;二分类 中图法分类号：TP181 文献标识码：A
中文引用格式：曹莹，苗启广，刘家辰，高琳具有 Fisher 一致性的代价敏感 ,2013,24(11):2584 - 2596.
n/1000-9825/ |
英文引用格式 :Cao Y, Miao QG, Liu JC, Gao L. Fisher consistent cost sensitive Boosting algorithm. Ruan Jian Xue Bao/ Journal
of Software, 2013,24(11):2584 - 2596 (in Chinese). -9825/ |
Fisher Con siste nt Cost S