AdaBoost算法分析及简单应用.doc

机器学习课程结课论文
学号、专业:
姓名: yan**
论文题目: Adaboost算法分析及简单应用
指导教师: 杨**
所属学院: 电子工程与自动化学院

成绩评定
教师签名

桂林电子科技大学研究生院
年月日
Adaboost算法分析及简单应用
Yan**
(桂林电子科技大学电子工程与自动化学院广西桂林 541004)
摘要: 本文主要阐述了在数据挖掘领域中十个主要的分类算法之一——Adaboost的来源、发展,以及开发应用,然后介绍了在该算法的训练过程中一个简单的应用,最后对该算法进行了简单评价。
关键词:Adaboost算法;发展背景;训练过程;性能改进;分类算法
Analysis of the algorithm and its simple application
Yan**
School of electronic engineering and automation of Guilin University of Electronic Technology, Guilin 541004, China
Abstract: This paper mainly describes one of the ten main classification algorithm in datea mining ——Adaboost. Firstly, it introduces the origin, development and application, then introduces the main training process of the algorithm, simple application and finally discusses the algorithm simply.
Keywords: Adaboost algorithm; development background; training process; performance improvement; classification algorithm
1 引言
在1990年,Schapire提出了Boosting算法,次年Freund改进Boosting算法,这两种算法存在共同的实践上的缺陷,那就是都要求事先知道弱学习算法学习正确率的下限。1995年,Freund和Schapire共同改进了Boosting算法,提出了Adaboost( Adaptive Boosting)算法,该算法效率和Freund于1991年提出的Boosting算法几乎相同,但不需要任何关于弱学习器的先验知识,因而更容易应用到实际问题当中。
Adaboost即Adaptive Boosting,它通过自适应学习算法来降低误差率,多次迭代后达到预期的效果。在另一方面,它并不需要知道样本空间的精确分布,每个样品经过弱学习调节后,通过权重的高低更新空间分布。该算法可以很容易地应用到实际问题,因此,已成为最流行的Boosting算法。
在机器学习的算法中,Adaboost算法是一种比较重要且通用的用于特征分类的算法,在图像检索和人脸表情识别等问题中都有普遍应用。从现状看,人们对Adaboost算法的研究及应用主要集中用于分类问题上,另外在某些回归问题上也有所涉及,比如两类问题、多类单标签问题、多类多标签问题和回归问题。该学习算法可以提高其他算法的性能,其思想来自于1984年Valiant提出的PAC(Probably Approximately Correct)(可能近似正确)学习模型,在这个PAC模型中,提出了两个概念-弱学习算法和强学习算法。其概念是:如果一个学习算法通过学习一组样本,识别率很高,则称其为强学习算法;如果识别正确率只有50%左右,仅略高于随机猜测,则称其为弱学习算法。强分类器是指一种算法通过一些训练集的学习,来达到所需的正确识别率。如果一个学习算法的识别率仅好于随机的猜测,则称其为弱分类器。通常,针对一个具体的识别问题,我们很难找到一个理想的强分类器,但是弱分类器一般都会有很多,基于这种现象, Adaboost算法被提出,它指出:通过一定的算法可以将一组弱分类器提升为一个强分类器。
Adaboost在机器学习领域中十分重要,它是一种提高任意给定学习算法准确度的方法。也就是说,Adaboost算法为其他算法提供了一种框架结构,而其他算法只在其中作为子分类器,因此Adaboost算法可以运用在许多方面的实践上。
如今通过Adaboost算法,我们实现了手写体字符识别,运用到了许多输入设备上,如流行的触屏手机上的手写输入、笔记本电脑的手写输入、扫描仪扫面文字转化为电子文档。我们实现了图像识