大数据存储系统_2.pdf

《大数据存储系统_2》.pdf1陈世敏陈世敏陈世敏陈世敏中科院计算所中科院计算所中科院计算所中科院计算所计算机体系结构计算机体系结构计算机体系结构计算机体系结构国家重点实验室国家重点实验室国家重点实验室国家重点实验室????2015201520152015 陈世敏陈世敏陈世敏陈世敏大数据管理系统大数据管理系统大数据管理系统大数据管理系统????2015陈世敏陈世敏陈世敏陈世敏(******@ict.)Outline?Key-Value Store?Dynamo?Bigtable / Hbase?Cassandra2大数据管理系统大数据管理系统大数据管理系统大数据管理系统????2015陈世敏陈世敏陈世敏陈世敏(******@ict.)为什么叫为什么叫为什么叫为什么叫No-SQL??这些系统大部分是由互联网公司研发的?研发的目标是支持本公司的某类重要的应用?放弃使用关系型系统,转而开发专门的系统以支持目标应用?由于应用规模巨大或数据种类繁多,当时的关系型产品不能完全支持?并行数据库系统高配也通常只有几十台服务器?而这些系统则使用成千上万台机器,和存储PB级的数据?针对目标应用进行开发,简化了许多关系型系统的功能,以提高系统性能和降低研发成本?不支持(完全的)SQL?不支持(完全的)ACID?等等?所以,这类系统被称作No-SQL3大数据管理系统大数据管理系统大数据管理系统大数据管理系统????2015陈世敏陈世敏陈世敏陈世敏(******@ict.)为什么叫为什么叫为什么叫为什么叫No-SQL??那么关系型与No-SQL究竟孰优孰劣??这个不能一概而论?关系型有其生命力,已经存在了40多年,还在被广泛的使用–优美的数学模型支持– SQL与ACID等都在实践中被证明了是非常有用的–但是关系型系统的实现确实没有考虑到上述超大规模、多种数据类型?No-SQL系统确实很好地支持了它们的目标应用–但是为了支持更加丰富的应用,人们发现已有的No-SQL系统的不足?所以,这两者将以某种方式融合–这种趋势已经出现42大数据管理系统大数据管理系统大数据管理系统大数据管理系统????2015陈世敏陈世敏陈世敏陈世敏(******@ict.)Key-Value Store? Key-Value store是一种分布式数据存储系统?简而言之,数据形式为<key, value>,支持Get/Put操作?实际上,多种不同的系统的数据模型和操作各有差异?我们将主要介绍三个系统?Dynamo: 由Amazon公司研发?Bigtable / HBase: Bigtable起源于Google公司, Hbase是开源实现?Cassandra:由Facebook研发,后成为Apache开源项目5大数据管理系统大数据管理系统大数据管理系统大数据管理系统????2015陈世敏陈世敏陈世敏陈世敏(******@ict.)Key-Value Store: Dynamo?“Dynamo: Amazon's Highly Available Key-Value Store.” Guiseppe DeCandia, Deniz Hastorun, Madan Jampani, et al. (). SOSP 2007.?支持亚马逊公司电子商务平台上运行的大量服务?例如,best seller lists, shopping cart