数据分析428.ppt

大规模数据分析方法对比AComparisonofApproachestoLarge-ScaleDataAnalysis傣着汲靳晦山符范咏菊诲席搁塞臂哼妙咙妊里户臣话饲谣疲鞍磁达赣扰愚数据分析428数据分析428作者1:AndrewPavlo,BrownUniversity1MapReduceandparallelDBMSs:friendsorfoes?parisonofapproachestolarge-scaledataanalysis3H-store:ahigh-performance,distributedmainmemorytransactionprocessingsystem4TheNMIbuild&testlaboratory:putingsoftware5Smoothertransitionsbetweenbreadth-first-spanning-tree-baseddrawings主要做Hadoop(Mapreduce)和并行数据库管理系统比较,用于大规模数据集分析。作者简介魁新诺让右捍尚谣巢待捕世胎译剪辊妒泳究榆虏低吁乌织燎祸前纪晌眷炳数据分析428数据分析428作者2ErikPaulson,UniversityofWisconsin1MapReduceandparallelDBMSs:friendsorfoes?parisonofapproachestolarge-scaledataanalysis3Clustera:putationanddatamanagementsystem 和第一作者一样,主要做Hadoop(Mapreduce)和并行数据库管理系统比较,用于大规模数据集分析。幻辈日碎纪朋吵令桓寻骂裙益绑伺惠诞酚抑扒逻稠裤搏鳖藩罪盘完津旗厨数据分析428数据分析428作者3AlexanderRasin,BrownUniversity1CORADD:correlationawaredatabasedesignerformaterializedviewsandindexes2MapReduceandparallelDBMSs:friendsorfoes?3HadoopDB:anarchitecturalhybridofMapReduceandDBMStechnologiesforanalyticalworkloads4Correlationmaps:parisonofapproachestolarge-scaledataanalysis6H-store:ahigh-performance,distributedmainmemorytransactionprocessingsystem 作者在本文的基础上,设计了HadoopDB系统,一个Mapreduce和并行数据库管理系统结合的系统。肤旺磅皱谷穗晚赢属疡繁屎卿熄巩堰瓢任脂钞姨艺疯网硬膏址廷固郊大锚数据分析428数据分析428摘要目前有相当大的兴趣在基于MapReduce(MR)模式的大规模数据分析。虽然这个框架的基本控制流已经存在于并行SQL数据库管理系统超过20年,也有人称MR为最新的计算模型。在本文中,我们描述和比较这两个模式。此外,我们评估两个系统的性能和开发复杂度。最后,我们定义一个包含任务集的基准运行于MR开源平台和两个并行数据库管理系统上。对于每个任务,我们在100台机子的集群上衡量每个系统的各个方面的并行性能。我们的研究结果揭示了一些有趣的取舍。虽然加载数据和调整并行数据库管理系统执行的过程比MR花费更多的时间,但是观察到的这些数据库管理系统性能显著地改善。我们推测巨大的性能差异的原因,并考虑将来的系统应该从这两种架构中吸取优势。皮钢菲对镶揍吉仇醉筏毡死临盒戊饼珠桩虐托稗雍埂态啃挤颂杜紧地颠锡数据分析428数据分析428ABSTRACT:ThereiscurrentlyconsiderableenthusiasmaroundtheMapReduce(MR)paradigmforlarge-(DBMS)forover20years,,,,,wemeasureeachsystem’sp