基于adaboost算法的银行客户数据分析—dm课程论文.doc

山东财经大学金融数据挖掘课程论文题目:基于Adaboost算法的银行客户数据分析学院计算机科学与技术专业计算机科学与技术班级计算机科学与技术1201班学号201218441442姓名王健山东财经大学教务处制二O一四年十二月山东财经大学学士学位论文1基于Adaboost算法的银行客户数据分析摘要分类是一种重要的数据分析形式,它提取刻画重要数据类的模型。这种模型称为分类器,预测分类的(离散的,无序的)类标号。在机器学习中,对分类器的分类进行准确性评估是一个基本问题。我们以此来确定分类器是否可以运用到实际的分类中。组合分类器是一个复合模型,由多个分类器组合而成。组合分类器基于投票返回类标号预测。组合分类器往往比它的成员分类器更准确。传统的学习模型假定数据类是良分布的。然而在现实世界的许多领域中,数据是类不平衡的,其中感兴趣的主类只有少量元祖。这称为类不平衡问题。我们还研究提高类不平衡数据分类准确率的技术。。我们将Adaboost算法应用于银行客户数据分析,分析结果表明,该算法运行可靠。本文最后对Adaboost算法的优缺点进行了总结。关键词:银行信息;AdaBoost;、提升和随机森林都是组合分类方法的列子。组合分类把k个学习得到的模型(或基分类器)M1,M2,······Mk组合在一起,旨在创建一个改建的复合分类模型M*。使用给定的数据集D创建k个训练集D1,D2,······,Dk,其中Di用于创建分类器Mi。给定一个待分类的新数据元祖,每个基分类器通过返回类预测投票。组合分类器基于基分类器的投票返回类预测。组合分类器往往比它的基分类器。列如,考虑一个进行多数表决的组合分类器。也就是说,给定一个待分类元祖X,它收集由基分类器返回的类标号预测,并输入占多数的类。基分类器可能出错时,但是仅当超过一半的基分类器出错时,组合分类器才会误分类X,当模型之间存在显著差异时,组合分类器产生更好的结果。也就说,理想的,基分类器之间几乎不相关。基分类器还应该优于随机预测。:SVM、logistic等,我们很自然的想到一个方法,我们是否能够整合多个算法优势到解决某一个特定分类问题中去,答案是肯定的!通过聚合多个分类器的预测来提高分类的准确率。这种技术称为组合方法(ensemblemethod)。组合方法由训练数据构建一组基分类器,然后通过对每个基分类器的预测进行权重控制来进行分类。考虑25个二元分类组合,,如果所有基分类器都是相互独立的(即误差是不相关的),则在超过一半的基分类器预测错误组合分类器才会作出错误预测。这种情况下的组合分类器的误差率:??-1ei-252513iii25ensemble??????C组合分类器性能优于单个分类器必须满足两个条件:(1)基分类器之间是相互独立的(2)基分类器应当好于随机猜测分类器。实践上很难保证基分类器之间完全独立,但是在基分类器轻微相关情况下,组合方法可以提高分类的准确率。,先了解一下Boosting方法回答一个是与否的问题,随机猜测可以获得50%的正确率。如果一种方法能获得比随机猜测稍微高一点的正确率,则就可以称该得到这个方法的过程为弱学习;如果一个方法可以显著提高猜测的正确率,则称获取该方法的过程为强学习。1994年,Kearns和Valiant证明,在Valiant的PAC(ProbablyApproximatelyCorrect)模型中,只要数据足够多,就可以将弱学习算法通过集成的方式提高到任意精度。实际上,1990年,SChapire就首先构造出一种多项式级的算法,将弱学习算法提升为强学习算法,就是最初的Boosting算法。Boosting意思为提升、加强,现在一般指将弱学习提升为强学习的一类算法。1993年,Drucker和Schapire首次以神经网络作为弱学习器,利用Boosting算法解决实际问题。前面指出,将弱学习算法通过集成的方式提高到任意精度,是Kearns和Valiant在1994年才证明的,虽然Boosting方法在1990年已经提出,但它的真正成熟,也是在1994年之后才开始的。1995山东财经大学学士学位论文3年,Freund提出了一种效率更高的Boosting算法。,他们详细分析了AdaBoost算法错误率的上界,以及为了使强分类器达到错误率,算法所需要的最多迭代次数等相关问题。与Boosting算法不同的是,adaBoost算法不需要预先知道