mapreduce数据分析.ppt

大规模数据分析方法对比AComparisonofApproachestoLarge-ScaleDataAnalysis作者1:AndrewPavlo,BrownUniversity1MapReduceandparallelDBMSs:friendsorfoes?parisonofapproachestolarge-scaledataanalysis3H-store:ahigh-performance,distributedmainmemorytransactionprocessingsystem4TheNMIbuild&testlaboratory:putingsoftware5Smoothertransitionsbetweenbreadth-first-spanning-tree-baseddrawings主要做Hadoop(Mapreduce)和并行数据库管理系统比较,用于大规模数据集分析。作者简介作者2ErikPaulson,UniversityofWisconsin1MapReduceandparallelDBMSs:friendsorfoes?parisonofapproachestolarge-scaledataanalysis3Clustera:putationanddatamanagementsystem 和第一作者一样,主要做Hadoop(Mapreduce)和并行数据库管理系统比较,用于大规模数据集分析。作者3AlexanderRasin,BrownUniversity1CORADD:correlationawaredatabasedesignerformaterializedviewsandindexes2MapReduceandparallelDBMSs:friendsorfoes?3HadoopDB:anarchitecturalhybridofMapReduceandDBMStechnologiesforanalyticalworkloads4Correlationmaps:parisonofapproachestolarge-scaledataanalysis6H-store:ahigh-performance,distributedmainmemorytransactionprocessingsystem 作者在本文的基础上,设计了HadoopDB系统,一个Mapreduce和并行数据库管理系统结合的系统。摘要目前有相当大的兴趣在基于MapReduce(MR)模式的大规模数据分析。虽然这个框架的基本控制流已经存在于并行SQL数据库管理系统超过20年,也有人称MR为最新的计算模型。在本文中,我们描述和比较这两个模式。此外,我们评估两个系统的性能和开发复杂度。最后,我们定义一个包含任务集的基准运行于MR开源平台和两个并行数据库管理系统上。对于每个任务,我们在100台机子的集群上衡量每个系统的各个方面的并行性能。我们的研究结果揭示了一些有趣的取舍。虽然加载数据和调整并行数据库管理系统执行的过程比MR花费更多的时间,但是观察到的这些数据库管理系统性能显著地改善。我们推测巨大的性能差异的原因,并考虑将来的系统应该从这两种架构中吸取优势。ABSTRACT:ThereiscurrentlyconsiderableenthusiasmaroundtheMapReduce(MR)paradigmforlarge-(DBMS)forover20years,,,,,wemeasureeachsystem’-,