《云计算》课件1 (3).ppt

电子工业出版社刘鹏主编《云计算》教材配套课件 4 课程回顾 3 GFS 的容错措施有哪些? GFS 的容错措施有哪些? ? GFS 的容错机制? Chunk Server 容错?每个 Chunk 有多个存储副本(通常是 3个),分别存储于不通的服务器上?每个 Chunk 又划分为若干 Block ( 64KB ),每个 Block 对应一个 32bit 的校验码,保证数据正确(若某个 Block 错误,则转移至其他 Chunk 副本) ? Master 容错(影子节点热备) ?三类元数据:命名空间(目录结构)、 Chunk 与文件名的映射以及 Chunk 副本的位置信息?前两类通过日志提供容错, Chunk 副本信息存储于 Chunk Server , Master 出现故障时可恢复 51、处理流程 2、分片方式 1、处理流程 2、分片方式? MapReduce 处理流程中各类文件的存储位置在哪里? ? MapReduce 的容错方法? ? MapReduce 的处理优化方法? ? MapReduce 仅能对 GFS 之上的文件进行处理吗? ?所有步骤均可控,可灵活处理各类分布式问题?除了排序,新增两道题目?使用 MapReduce 实现倒排索引?输入: 100 个文本文档?输出:倒排索引?任务?实现算法,给出数据结构描述、执行过程描述等?作业要求同“排序”?要求尽可能提高执行效率,节约网络 IO 带宽?除了排序,新增两道题目?使用 MapReduce 实现快速查询?查询目标是存储在 BigTable 之中的网页数据,给定关键字, 快速查询含有该内容的网页(假定没有倒排索引) ?要求?设计 BigTable 存储方式(表含有哪些列、无需关心数据如何取得) ?设计快速查询的 MapReduce 处理方法?作业要求同“排序”