谷歌云计算应用分析-精品课件(PPT).ppt

Google 云计算应用场景分析电子工业出版社刘鹏主编《云计算》教材配套课件 5主要内容?Google 云计算技术框架?应用场景分析 1:Google 网站流量分析?应用场景分析 2:Google 搜索 Google 云计算的技术架构?Google 的云计算应用均依赖于四个基础组件–分布式文件存储, GFS –并行数据处理模型 MapReduce –分布式锁 Chubby –结构化数据表 BigTable Google Google 云计算应用云计算应用 MapReduce MapReduce BigTable BigTable GFS GFS Chubby Chubby Google 云计算的技术架构 Google Google 云计算应用云计算应用 BigTable BigTable GFS GFS MapReduce MapReduce Chubby Chubby ?组件调用关系分析 Google 云计算的技术架构?Chubby 的作用–为GFS 提供锁服务,选择 Master 节点;记录 Master 的相关描述信息–通过独占锁记录 Chunk Server 的活跃情况–为BigTable 提供锁服务,记录子表元信息(如子表文件信息、子表分配信息、子表服务器信息) –(可能)记录 MapReduce 的任务信息–为第三方提供锁服务与文件存储 Google Google 云计算应用云计算应用 BigTable BigTable GFS GFS MapReduce MapReduce Chubby Chubby Google 云计算的技术架构?GFS 的作用–存储 BigTable 的子表文件–为第三方应用提供大尺寸文件存储功能–文件读操作流程?API 与Master 通信,获取文件元信息?根据指定的读取位置和读取长度, API 发起并发操作,分别从若干 ChunkServer 上读取数据?API 组装所得数据,返回结果 Google Google 云计算应用云计算应用 BigTable BigTable GFS GFS MapReduce MapReduce Chubby Chubby Google 云计算的技术架构?BigTable 的作用–为Google 云计算应用(或第三方应用)提供数据结构化存储功能–类似于数据库–为应用提供简单数据查询功能(不支持联合查询) –为MapReduce 提供数据源或数据结果存储 Google Google 云计算应用云计算应用 BigTable BigTable GFS GFS MapReduce MapReduce Chubby Chubby Google 云计算的技术架构?BigTable 的存储与服务请求的响应–划分为子表存储,每个子表对应一个子表文件,子表文件存储于 GFS 之上–BigTable 通过元数据组织子表–每个子表都被分配给一个子表服务器–一个子表服务器可同时分配多个子表–子表服务器负责对外提供服务,响应查询请求 Tablet 1: <startRowKey1, endRowKey1>, root\bigtable\tablet1, …… Tablet 2: <startRowKey2, endRowKey2>, root\bigtable\tablet2, …… Tablet 3: <startRowKey3, endRowKey3>, root\bigtable\tablet3, …… Tablet 4: <startRowKey4, endRowKey4>, root\bigtable\tablet4, …… Google 云计算的技术架构?MapReduce 的作用–对BigTable 中的数据进行并行计算处理(如统计、归类等) –使用 BigTable 或GFS 存储计算结果 Google Google 云计算应用云计算应用 BigTable BigTable GFS GFS MapReduce MapReduce Chubby Chubby 应用场景分析 1 —— Google 网站流量分析?Google Analytics –免费的企业级网络分析解决方案–帮助企业了解网站流量和营销效果–能以灵活的方式(各类报表)查看并分析流量数据