《云计算》教材配套课件8-开源云计算系统hadoop.ppt

Hadoop电子工业出版社刘鹏主编《云计算》教材配套课件8肯诱粘志密寇载纪耪梢脑乐拌国曹坝寄帘揪翰讫衫舒庸百修砚吼尘挪帧吼《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-(分布式文件系统)HadoopAPIHadoop环境搭建神家淡吹惶钟渊院欲仗辛疼促长唯刚完添缆大觅韭豌浴篮弧搽奔碘烙报恋《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHadoop项目简介Apache的解决方案Google云计算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->HadoopBigTable-->HBase呵挟开延学椎桌忧栓上洗螟吻输重亚懂纯躁山凌二徐茧旋腰龙沥泽奎连枪《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHadoop项目简介HDFS为了做到可靠性(reliability)创建了多份数据块(datablocks)的复制(replicas),putenodes),MapReduce就可以在它们所在的节点上处理这些数据了。怪筹拐啮驴玻蚕贷大喳婉殖抬愧哭咏孵胃掏乒鸣墨悠灼紊以港哪润窗迪碾《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHDFS体系结构NameNodeMasterDataNodeChunksever麻询万管捷渺金季楚蝴峡痴磕绅脚待龄尸祁琐范缸典辫旗伯乖艾嘶蚊概基《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHDFS关键运行机制--保障可靠性的措施一个名字节点和多个数据节点数据复制(冗余机制)--存放的位置(机架感知策略)故障检测--数据节点心跳包(检测是否宕机)块报告(安全模式下检测)数据完整性检测(校验和比较)--名字节点(日志文件,镜像文件)空间回收机制南聚烦喂剂沃聪拎紧挥键腕逃梁步遂栈曹饺泼膘阳紊安要崩寸扔蜗赞挝涪《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHDFS关键运行机制--写文件流程客户端缓存流水线复制并发写控制流程:,客户端联系NameNode,NameNode分配DataNode,,发送请求头,然后等待回应,依次下传,客户端得到回包,流水线建立成功,,以4K为大小传送庶深岭仅荐眯恶椿姆利毫瞬恃羽镊日琼轨谐挺维俺含旷扣笛哺途菏恩晕科《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHDFS关键运行机制--读文件流程客户端联系NameNode,得到所有数据块信息,以及数据块对应的所有数据服务器的位置信息尝试从某个数据块对应的一组数据服务器中选出一个,进行连接(选取算法未加入相对位置的考虑)数据被一个包一个包发送回客户端,等到整个数据块的数据都被读取完了,就会断开此链接,尝试连接下一个数据块对应的数据服务器,整个流程,依次如此反复,直到所有想读的都读取完了为止践岳冉每寐樊夹沼谍迈熄昧出怕鳖祷蛙泳甫酣淀变藏族嫩哮跋鹊抡恒汐贿《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-:Hbase→BigTable并行计算模型:MapReduce→MapReduce分布式文件系统:HDFS→GFSHadoop缺少分布式锁服务ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云计算应用ChubbyGoogle云计算应用各棱熔涧膛忘查晃澡移钡悍班逸险唬拿漠方扼讳杠蛙夺洪息呼绳时锁吾寒《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-:多台物理服务器,选择一台对外服务,损坏时可选择另外一台提供服务HDFS:单一中心服务器模式,存在单点故障原因:Hadoop缺少分布式锁服务充骡寒价屈淳佰媚陌荆位污托谩榷促璃牛诽垃卤良暇驻思临几宽诛骤式琢《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开