云计算-主流解决方案-课件(PPT讲稿).ppt

云计算主流解决方案主流解决方案厂商的发展策略及现状主流解决方案—— Google 云计算?数据存储在“云”中?数据访问不受地理位置限制?数据能够很方便的共享 Google 云计算技术具体包括: ? Google 文件系统海量数据分布存储技术( GFS) 、?分布式计算编程模型 MapReduce 、?分布式锁服务 Chubby ?分布式结构化数据存储系统 Bigtable 等。主流解决方案—— Google 云计算? Google 需要一个支持海量存储的文件系统?购置昂贵的分布式文件系统与硬件? Google 设计 GFS 的动机是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统? 是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统? 5 ?为什么不使用当时现存的文件系统? ? Google 所面临的问题与众不同?不同的工作负载,不同的设计优先级(廉价、不可靠的硬件) ?需要设计与 Google 应用和负载相符的文件系统 Google 设计 GFS 的动机 6 一个适用于大规模分布式数据处理相关应用的,可扩展的分布式文件系统。它基于普通的不算昂贵的硬件设备,实现了容错的设计,并且为大量客户端提供极高的聚合处理性能。 GFS GFS 的假设与目标?硬件出错是正常而非异常?系统应当由大量廉价、易损的硬件组成?必须保持文件系统整体的可靠性?主要负载是流数据读写?主要用于程序处理批量数据,而非与用户的交互或随机读写?数据写主要是“追加写”,“插入写”非常少?需要存储大尺寸的文件?存储的文件尺寸可能是 GB 或 TB 量级,而且应当能支持存储成千上万的大尺寸文件 7 ?将文件划分为若干块( Chunk )存储?每个块固定大小( 64M ) ?通过冗余来提高可靠性?每个数据块至少在 3个数据块服务器上冗余?数据块损坏概率? ?通过单个 master 来协调数据访问、元数据存储?结构简单,容易保持元数据一致性?无缓存 GFS 的设计思路 8 GFS 将容错的任务交给文件系统完成,利用软件的方法解决系统可靠性问题,使存储的成本成倍下降。 GFS 将服务器故障视为正常现象,并采用多种方法,从多个角度,使用不同的容错措施,确保数据存储的安全、保证提供不间断的数据存储服务。 GFS 架构是怎样的? GFS 架构是怎样的? GFS 系统架构 Client (客户端) :应用程序的访问接口 Master (主服务器) :管理节点,在逻辑上只有一个,保存系统的元数据,负责整个文件系统的管理 Chunk Server (数据块服务器) :负责具体的存储工作。数据以文件的形式存储在 Chunk Server 上 Client (客户端) :应用程序的访问接口 Master (主服务器) :管理节点,在逻辑上只有一个,保存系统的元数据,负责整个文件系统的管理 Chunk Server (数据块服务器) :负责具体的存储工作。数据以文件的形式存储在 Chunk Server 上控制流状态流 IO 并行