BP-AdaBoost分类算法的MapReduce并行化实现.pdf

第 31 卷第 8 期 计算机应用与软件 Vol. 31 No． 8
2014 年 8 月 Computer Applications and Software Aug． 2014
BP - AdaBoost 分类算法的 MapＲeduce 并行化实现
李 杨 杨宝华* 李 双
(安徽农业大学信息与计算机学院 安徽 合肥 230036)
(安徽农业大学农业信息学安徽省重点实验室 安徽 合肥 230036)
摘 要 在面对海量数据分类问题时，时间和空间复杂性已成为传统算法的瓶颈。在对传统的 BP-AdaBoost 算法进行分析的基
础上，结合云计算平台，给出传统 算法的 并行化方法 函数完成每个弱分类器预测误差 的计算与重
BP-AdaBoost MapＲeduce 。Map εt
新标记，Ｒeduce 函数根据 Map 函数得到的中间结果合并计算出平均误差，供下一轮 MapＲeduce 计算任务使用。将改进后的算法部
署在 Hadoop 集群上，能够实现高效并行的海量数据强分类。并通过集群上的三个对比实验，验证了该算法的可行性，它不仅能处理
海量数据，而且降低了算法的时间复杂度，具有较好的加速比和准确性。
关键词 云计算 BP-AdaBoost MapＲeduce 海量数据 Hadoop 集群
中图分类号 TP301． 6 文献标识码 A DOI:10． 3969 /j． issn． 1000-386x． 2014． 08． 065
MAPＲEDUCE PAＲALLEL IMPLEMENTATION OF BP-ADABOOST