hadoop分享.pptx

hadoop分享
——副标题abcdefg
『演讲人』刘朔龙
『时间』
2
1
Hadoop各组件简介
3
2
Hadoop部署前的准备
11
3
Hadoop各组件部署
15
4
Hadoop各组件的启停
53
目录
5
Hadoop各组件对应的服务名
56
6
Hadoop的监控
57
7
hadoop
58
Hadoop各组件简介--zookeeper
3
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口。其中分布锁和队列有Java和C两个版本,选举只有Java版本。
Hadoop各组件简介--HDFS
Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
文件按照块进行划分存储在多台机器上,并通过副本的方式保证高可用。
4
Hadoop各组件简介--hbase
HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它利用了Hadoop所提供的分布式数据存储功能,适合于非结构化数据存储的数据库;基于列的而不是基于行的模式。
Hbase是Hadoop上的一个键值对的NoSQL数据库,其主要特性是支持高并发文本数据写入和读取,舍弃了关系数据中的事务、关联、复杂索引等。
5
Hadoop各组件简介--hive
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
6
Hadoop各组件简介--impala
Impala是一个在Hadoop集群上运行的本地SQL查询引擎,提供原始HDFS数据和HBase数据库的简单查询访问。
Impala是另一个SQL解析引擎,但其绕过了MapReduce,利用自己的执行引擎,充分利用内存来直接访问HDFS上的文件。Impala的使用需要用到Hive的元数据。
7
Hadoop各组件简介
8
Hadoop部署前的准备—规划
9
根据主机数量和主机资源规划hadoop部署方案,以安徽移动流量hadoop为例:
Hadoop部署前的准备--版本
10
使用的各组件版本:
zookeeper--
hadoop--
hbase--
hive--
impala--
zookeeper--