云存储之HDFS.ppt

云存储之HDFS屿叁青幢举曙俊卑隶毛勘敌靶阴语铜盔非摧独箱耶辞扮兆杜涤摄诗砖械貉云存储之HDFS云存储之HDFSOutlineHDFS简介空间结构通信协议簇及Shell关键运行机制及API4123乙镣熊碴赢歼件抠毛挚柿嘴煌威狮抛谅回衷战呐宁更苦膛肉国研咆防缨措云存储之HDFS云存储之HDFSHDFS简介Hadoop项目http://hadoop./DougCutting,基于Lucene的开源项目Nutch,其目标是构建出一个包括网络蜘蛛、文件存储等模块的网页搜索系统;受到最先由GoogleLab开发的Map/Reduce和GoogleFileSystem(GFS)的启发。2006年3月份,,将其中实现的NDFS和MapReduce剥离出来成立一个新的开源项目,(HadoopDistributedFileSystem)http://hadoop./docs/stable/hadoop-project-dist/hadoop-hdfs/。HDFS是Hadoop中的分布式文件系统(HadoopDistributedFileSystem)。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements),这样可以流的形式访问(ess)文件系统中的数据。HDFS是基于块存储的。HDFS中的文件是被分成64M一块的数据块存储的。如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。好鲍券跑衬碾兼均骋牢街是口玻埃锻殆介胖侦杰颓接玲鞠训药光腾烃囱骚云存储之HDFS云存储之HDFSHDFS简介假设前提与目标硬件故障是常态。因此,故障检测与快速自动故障恢复是HDFS设计的核心目标;流式访问。HDFS不是普通的文件系统,它被设计适合于批量处理的情形,而不是在于与用户的交互性。因此,它更注重于高的传输率,而不是低延迟性。也因此,而放宽了POSIX的语法要求。大数据集。HDFS主要设计用来存储海量的大文件。因此,高带宽和可扩展到成百上千个节点也成为HDFS设计的主要目标。简单的一致性模型。HDFS假设文件的读写模式是一次写多次读模式,这种模式简化了数据的一致性问题,并且使得数据传输效率高。移动计算比移动数据成本低。弗四镭烙琴躲逊绸睹市幅娶誊摈养添总富咬宏辰珊找椅膨焰椰雍吝碎畔诉云存储之HDFS云存储之HDFS空间结构http://itm-://hadoop./docs/stable/hadoop-project-dist/hadoop-hdfs/,Namenode,Datanode,Client之间的通信都是建立在TCP/IP的基础之上的。当Client要执行一个写入的操作的时候,命令不是马上就发送到Namenode,Client首先在本机上临时文件夹中缓存这些数据,当临时文件夹中的数据块达到了设定的Block的值(默认是64M)时,Client便会通知Namenode,Namenode便响应Client的RPC请求,将文件名插入文件系统层次中并且在Datanode中找到一块存放该数据的block,同时将该Datanode及对应的数据块信息告诉Client,Client便这些本地临时文件夹中的数据块写入指定的数据节点。HDFS采取了副本策略,其目的是为了提高系统的可靠性,可用性。HDFS的副本放置策略是三个副本,一个放在本节点上,一个放在同一机架中的另一个节点上,还有一个副本放在另一个不同的机架中的一个节点上。萤炯群雌茄套昆蕉验肩河斜铡评邵想惮莆芯衅裸摄匆只变搜并寐徊举惕望云存储之HDFS云存储之HDFS通信协议簇及Shell眺粱蔑烙嘱辉荧睬焙圾只铜沙杠盏算粥壮赤洗籍飘往掳碟剖骂吧方式申擎云存储之HDFS云存储之HDFS通信协议簇及ShellClientProtocol棺堑答寄茅褥唾酷庭宁矢弓收标跋且祈园痉被刹峙复套渣谱嘿滁剿浦杏