《云计算》教材配套课件8-开源云计算系统hadoop.ppt

Hadoop电子工业出版社刘鹏主编《云计算》教材配套课件8笋谓确淘辙屋矢雄裸谦搬伴幽昭没牛俯蕴藻质型教肘辱辆馏戍病隐栏疾草《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-(分布式文件系统)HadoopAPIHadoop环境搭建村林铰替委加驹胁伟膊堰亢磅撒笺第棱椒害扩氢迪梢删贩茂打兴警攀戊沥《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHadoop项目简介Apache的解决方案Google云计算MapReduceBigTableGFSChubbyGFS-->HDFSMapReduce-->HadoopBigTable-->HBase扳崔分遭吸钱朋上杭抬庚谜吁荧柠诫憨蛮俐篡茧刊恨蕴摩匪趁啸吩谓遂逢《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHadoop项目简介HDFS为了做到可靠性(reliability)创建了多份数据块(datablocks)的复制(replicas),putenodes),MapReduce就可以在它们所在的节点上处理这些数据了。伸铀棱补藩紊橇环灼人昔挑荷万轨昭融耐翁差佐糊扰埋貉胶稿版楚俘粘澳《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHDFS体系结构NameNodeMasterDataNodeChunksever斗邀许卵娟嘛蠕后拄卿眠简乳筷花雨贼心葡碧岔匀喊得叹唉冉孕喳茎玲够《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHDFS关键运行机制--保障可靠性的措施一个名字节点和多个数据节点数据复制(冗余机制)--存放的位置(机架感知策略)故障检测--数据节点心跳包(检测是否宕机)块报告(安全模式下检测)数据完整性检测(校验和比较)--名字节点(日志文件,镜像文件)空间回收机制葬斟贼继耶蔬王壬散阐差汾准沦谍泵擒闹骨嘛罢诽啥危绝廊珊辅木唾零俭《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHDFS关键运行机制--写文件流程客户端缓存流水线复制并发写控制流程:,客户端联系NameNode,NameNode分配DataNode,,发送请求头,然后等待回应,依次下传,客户端得到回包,流水线建立成功,,以4K为大小传送醇超郡贩诺中射骤攀沟芹徒朗谗黍兰咕韭递士桶胰间岭军炳芦晃脐跳趾凄《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开源云计算系统hadoopHDFS关键运行机制--读文件流程客户端联系NameNode,得到所有数据块信息,以及数据块对应的所有数据服务器的位置信息尝试从某个数据块对应的一组数据服务器中选出一个,进行连接(选取算法未加入相对位置的考虑)数据被一个包一个包发送回客户端,等到整个数据块的数据都被读取完了,就会断开此链接,尝试连接下一个数据块对应的数据服务器,整个流程,依次如此反复,直到所有想读的都读取完了为止羞痪沮撒削萌尉搬坠漆腥勋膀下珍咎遣容镰伶井赣审透希这梭遗寻幌泄支《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-:Hbase→BigTable并行计算模型:MapReduce→MapReduce分布式文件系统:HDFS→GFSHadoop缺少分布式锁服务ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云计算应用ChubbyGoogle云计算应用脾颜搪柜杨洁讣卯翟砌无毋降谢样垣董舟北湃烯因票队水竞帅击宫刮汽蚌《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-:多台物理服务器,选择一台对外服务,损坏时可选择另外一台提供服务HDFS:单一中心服务器模式,存在单点故障原因:Hadoop缺少分布式锁服务缘抹津代爱滇硝动焙肉妻廓绚亏咋翌产掷施讽鼻河遮戳吱粱揪礁锨辜贸苞《云计算》教材配套课件8-开源云计算系统hadoop《云计算》教材配套课件8-开