分布式开源数据库HBASE.pptx

Hadoop家族PigZookeeperHbaseHiveSqoopAvroChukwaCassandrapigHadoop客户端使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序,过滤,求和,聚组,关联等操作,可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce作业上传到集群运行,减少用户编写Java程序的苦恼三种运行方式:Gruntshell,脚本方式,嵌入式Hive数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务,几乎SQL的其它特征都能支持可以看成是从SQL到Map-Reduce的映射器提供shell、JDBC/ODBC、Thrift、Web等接口HbaseGoogleBigtable的开源实现列式数据库可集群化可以使用shell、web、api等多种方式访问适合高读写(insert)的场景HQL查询语言NoSQL的典型代表产品Hbase简介HBase是一个分布式的、面向列的开源数据库,该技术来源于Changetal所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,、面向列的开源数据库。不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。Hbase是基于列的而不是基于行的模式。Hbase是一个稀疏的、长期存储的、多维度的排序映射表,在这张表中包括了行关键字、列关键字和时间戳。每个值是一个字符数组,数据都是字符串,没有类型。Hbase中表的特点:大:一个表可以有上亿行、上百万列面向列:面向列(族)的存储和权限控制,列(族)独立检索。稀疏:对于为空的列,并不占用存储空间。BigTable的想法学生表的例子S(s#,sn,sd,sa)存放为关系的学生表以bigtable方式存放学生表Bigtable:无所不包的大表Hbase逻辑模型以表的形式存放数据表由行与列组成,每个列属于某个列族,由行和列确定的存储单元称为元素每个元素保存了同一份数据的多个版本,由时间戳来标识区分行键行键是数据行在表里的唯一标识,并作为检索记录的主键访问表里的行只有三种方式1通过单个行键访问2给定行键的范围访问3全表扫描行键可以是最大长度不超过64KB的任意字符串,并按照字典序存储对于经常要一起读取的行,要对行键值精心设计,以便它们能放在一起存储列族与列列表示为<列族>:<限定符>Hbase在磁盘上按照列族存储数据,这种列式数据库的设计非常适合于数据分析的情形列族里的元素最好具有相同的读写方式(例如等长的字符串),以提高性能