MapReduce的系统性能评估与Backup调度策略.doc

本科生毕业论文
题目:(中文) MapReduce的系统性能评估与Backup调度策略
(英文) Performance Evaluation and Backup tasks for MapReduce
姓名:
学号:
院系: 信息科学技术学院
专业: 计算机科学与技术
指导教师:
二〇一七二〇一七年十一月十一日
本科毕业论文导师评阅表
学生姓名
学生学号
论文成绩
学院(系)
信息科学技术学院
学生所在专业
计算机
导师姓名
导师单位/
所在研究所
网络与信息系统
导师职称
讲师
论文题目
(中、英文)
MapReduce的系统性能评估与Backup调度策略
Performance Evaluation and Backup tasks for MapReduce
导师评语
(包含对论文的性质、难度、分量、综合训练等是否符合培养目标的目的等评价)
陈日闪同学的论文选题是海量数据处理基础设施中的MapReduce分布式计算平台的性能评估和优化。这个方向是目前云计算热潮中重要的技术问题之一,也是本实验室在研究和开发MapReduce实现环境TPlatform中面临亟需解决的问题,是进一步工作的基础。其选题合理,是一个探索和工程结合的工作,其难度和工作量适中。
陈日闪以系统性能分析,寻找系统性能优化点为目标,讨论了MapReduce运行系统的性能评估指标和方法,设计了基准测试程序集,在TPlatform系统上开展了若干评估实验。通过实验结果分析,给出了若干系统改进的建议,并在落后者问题上,具体通过修改任务调度算法来实现了一个优化改进。这一系列工作连贯,工作内容包括论文阅读,查考文献,系统和算法设计,性能评估实验,编码调试,分布式系统运行和部署等。本论文工作,作为一个科研综合训练完成得很好,符合培养目标。同时,本论文工作也存在一些不足,在深度和系统性上还可以更加深入,比如加入相关系统的对比实验,扩展更多的实验设计和分析等,这些可以在陈日闪同学进一步工作中来完善。
导师签名:
年月日
摘要
MapReduce是一个在海量数据上进行数据处理的并行编程模型,它特别适合于海量非结构化和结构化数据的搜索、分析和挖掘任务,已经开始被人们广泛使用。对于兴起的众多类似MapReduce系统来说,如何有效地评估和分析对比这些系统,成为当前一个需要解决的问题。
本文详细讨论了针对MapReduce运行系统的性能评估指标和方法,设计和选择一系列具有代表性的程序和数据作为基准,用来评估和分析MapReduce系统。在这一评估方法指导下,本文在我们自己实现的MapReduce运行系统——Tplatform平台上扩展了Profiling功能,然后进行了一系列评估实验,来分析和寻找系统性能瓶颈,为未来系统优化提供依据。通过实验我们发现了我们系统的一些可改进的问题如任务调度、落后者问题等等。我们选择了针对导致提交任务延迟增加的落后者问题,通过实现后备任务策略来尝试改进。经模拟实验结果显示,我们提出的改进策略能够有效地改进落后者问题的性能问题。
关键词:MapReduce,性能评估,落后者问题,后备任务策略
Abstract
MapReduce is ing an important parallel programming paradigm for processing scale data. It is widely used to process jobs such as searching, analyzing, and mining on large scale structured and semi-structured data. It is still a problem for the emerging MapReduce-like systems to analyze and evaluate systematically and efficiently.
This paper discussed the issues in performance evaluation for MapReduce runtime system. We designed and chose a series of representative programs and data as benchmark. And then we implement profiling in our homemade MapReduce system which named Tplatform. We did the evaluation experiment for finding