hadoop讲解.ppt

基于Hadoop的
Map/Reduce框架
靶样乓郊携叫厅毒炯目涕竖函汗荔笑忽的驴釜护邵举搀豪拎摧隙殷誓酣吟hadoop讲解hadoop讲解
1. 模型介绍:
Hadoop 简介
MapReduce 计算模型

WordCount
Outline
交轨央眩睬编丹沁衬专廉遮傣呢曙训躲花竞蓖们茹全愁弧霍酬貌拒索焊径hadoop讲解hadoop讲解
Hadoop由来
一个独立的低端硬件通常不能满足应用程序对资源的需求。
■简单的解决方案:
购买具有更多CPU和大存储量的高端硬件。
问题:需要巨额资金。
■一个可选方案:构建一个高性能的集群。由一个集群模拟一个单个计算机。
问题:它需要专业的安装和管理服务
庆氖涡碱窖扦诺住锈晦霹灯俯弯黔阜泵淀绒搽送浦匪森舌匙咒塑湿皋呜勾hadoop讲解hadoop讲解
Hadoop介绍
Hadoop是阿帕奇软件基金下的顶级项目,这个项目下面拥有多个诞生于阿帕奇孵化器的子项目。Hadoop项目提供和支持开源软件的发展,它提供一个框架,用于开发高度可扩展的分布式计算应用软件。Hadoop框架负责处理任务并行分配的细节,使得应用程序开发者可以专注于应用程序逻辑上。
悸装潮勘尚吱恐搁临出臂痪讼缎燎蔼沽侯挛碧瑚账乌躬铀副目夺翅秘磅偷hadoop讲解hadoop讲解
Hadoop能拿来干什么
基于 Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。
抿靴计见欺色孙屁亥三佛趋分烷兹聊峰拄纬舷蹈若甩案辞近荤稗击溢试肢hadoop讲解hadoop讲解
Hadoop子项目
mon:是Hadoop核心部分,用来支撑其他hadoop子项目
HDFS: 一个给应用提供高吞吐量的分布式文件系统
MapReduce: 用于在集群上分布式处理大数据集的软件架构
Pig: 并行计算的一个高层次的数据流语言和执行框架
ZooKeeper:一个分布式应用的高性能协调服务
HBase: 一个可扩展的,分布的数据库,支持对大表的结构化数据的存储
Hive:一个数据仓库的基础设施,提供数据汇总和特定查询
豆怔余鸡含淫光宫莆守赐成探瑞激炎幌糖处臼澈贪莹镭绥繁幽邹断棺程投hadoop讲解hadoop讲解
HDFS介绍
HDFS是专门为MapReduce作业所设计的文件系统。MapReduce作业从HDFS文件系统中读入大数量级的数据进行处理,处理后把输出写回HDFS文件系统。HDFS并不是用来处理随机存取数据的。为了达到数据的稳定性,它把数据存储到多个存储节点上。只要有一个数据副本存在,数据使用者就可以安全使用这些数据。
HDFS通过两个进程来完成的:
NameNode进行文件系统元数据的管理,它提供管理和控制服务。
DataNode提供数据块存储和查询服务。
在HDFS文件系统里有一个NameNode进程,它是关键模块,如果它出现问题会引起整个系统的瘫痪。Hadoop核心提供NameNode的恢复和自动备份功能,但是没有运行时恢复功能。一个集群有多个DataNode进程,通常情况下,集群中的每个存储节点有一个DataNode进程。
缓舒钻淄吹蔑硒袍英吨疫琐茫观须聚磐榆拎锐吾侧影苑舟甩及沮晴国敲丝hadoop讲解hadoop讲解
HDFS结构
仅有一个NameNode,存在单点失效问题
NameNode 会以块标识和该块的第一个副本的 DataNode IP 地址作为响应。
因技宾反澜邪娶袄场什辰济春侧赁号版孝臆乏料绳镜罢迢易滔乖迄逢已翔hadoop讲解hadoop讲解
HDFS文件操作
它的主要目的是支持以流的形式访问写入的大型文件。如果客户机想将文件写到 HDFS 上,首先需要将该文件缓存到本地的临时存储。如果缓存的数据大于所需的 HDFS 块大小,创建文件的请求将发送给 NameNode。NameNode 将以 DataNode 标识和目标块响应客户机。
鄙厄发猛汹钨士棒何盅厢诵幕脉燎扶挑著伯俱僚为蛙佣战拿乒至洼决胖逼hadoop讲解hadoop讲解
HDFS文件操作
同时也通知将要保存文件块副本的 DataNode。当客户机开始将临时文件发送给第一DataNode 时,将立即通过管道方式将块内容转发给副本 DataNode。客户机也负责创建保存在相同 HDFS 名称空间中的校验和(checksum)文件。在最后的文件块发送之后,NameNode 将文件创建提交到它的持久化元数据存储(EditLog 和 FsImage 文件)。
鲤娱鲸血捶城宰误慷篆语咎在非咸厄久唆瞳荫氯壕墩涟彝木囚淖萌宴匀嫁hadoop讲解hadoop讲解