《云计算二版》教材配套课件—二google云计算原理与应用ppt课件.ppt

电子工业出版社《云计算(第二版)》配套课件第2章Google云计算原理与应用提纲Google文件系统GFS分布式数据处理MapReduce分布式锁服务Chubby分布式结构化数据表Bigtable分布式存储系统Megastore大规模分布式系统的监控基础架构DapperGoogle应用程序引擎分布式存储系统Megastore设计目标及方案选择Megastore数据模型Megastore中的事务及并发控制Megastore基本架构核心技术——复制产品性能及控制措施在互联网的应用中,为了达到好的可扩展性,常常会采用NoSQL存储方式。但是从应用程序的构建方面来看,传统的关系型数据库又有着NoSQL所不具备的优势。Google设计和构建了用于互联网中交互式服务的分布式存储系统Megastore,该系统成功的将关系型数据库和NoSQL的特点与优势进行了融合设计目标及方案选择可用性——实现了一个同步的、容错的、适合远距离传输的复制机制。引入Paxos算法并对其做出一定的改进以满足远距离同步复制的要求可扩展性——借鉴了数据库中数据分区的思想,将整个大的数据分割成很多小的数据分区,每个数据分区连同它自身的日志存放在NoSQL数据库中,具体来说就是存放在Bigtable中设计目标一种介于传统的关系型数据库和NoSQL之间的存储技术,尽可能达到高可用性和高可扩展性的统一数据分区和复制数据分区和复制Megastore中,这些小的数据分区被称为实体组集(EntityGroups)。每个实体组集包含若干实体组(EntityGroup,相当于分区中表的概念),而一个实体组中又包含很多的实体(Entity,相当于表中记录的概念)。从图中还可以看出单个实体组支持ACID语义实体组集之间只具有比较松散的一致性。每个实体组都通过复制技术在数据中心中保存若干数据副本,这些实体组及其副本都存储在NoSQL数据库(Bigtable)中Megastore数据模型传统的关系型数据库是通过连接(Join)来满足用户的需求的,但是就Megastore而言,这种数据模型是不合适的,主要有以下三个原因:(1)对于高负载的交互式应用来说,可预期的性能提升要比使用一种代价高昂的查询语言所带来的好处多(2)Megastore所面对的应用是读远多于写,因此好的选择是将读操作所需要做的工作尽可能地转移到写操作上(3)在Bigtable这样的键/值存储系统中存储和查询级联数据(HierarchicalData)是很方便的Megastore数据模型怎么设计?Google设计了一种能够提供细粒度控制的数据模型和模式语言同关系型数据库一样,Megastore的数据模型是在模式(schema)中定义的且是强类型的(stronglytyped)每个模式都由一系列的表(tables)构成,表又包含有一系列的实体(entities),每实体中包含一系列属性(properties)属性是命名的且具有类型,这些类型包括字符型(strings)、数字类型(numbers)或者Google的ProtocolBuffers。这些属性可以被设置成必须的(required)、可选的(optional)或者可重复的(repeated,即允许单个属性上有多个值)数据模型实例照片共享服务数据模型实例图中表Photo就是一个子表,因为它声明了一个外键;User则是一个根表。一个Megastore实例中可以有若干个不同的根表,表示不同类型的实体组集图中实例还可以看到三种不同属性设置,既有必须的(如user_id),也有可选的(如thumbnail_url);值得注意的是Photo中的可重复类型的tag属性,这也就意味着一个Photo中允许同时出现多个tag属性