火龙果软件--BigTable简介.docx

首先,向大家介绍在 2006 年OSDI 大会上发表 BigTable 论文,也就是《Bigtable: ADistributed Storage System for Structured Data 》里面所提到的一些特性: 特性 BigTable HBase 注释原子的读写和修改支持,基于 Row 的支持,基于 Row 的由于 BigTable 本身不是关系型数据库,所以它没有事务功能,但是有一个非常相近的机制,就是对一个 Row 的原子操作。按照字典顺序对 Row 排序支持支持和传统的关系型数据库的不同的是,其只支持按照字典顺序(lexicographic order )对Row 排序。支持 Block 格式存储支持支持每个存储文件,都由一些小的 block 组成,这样能快速从大的存储文件中读取数据,默认 Block 的大小为 64K 。 Block 压缩支持,基于column family 支持,基于column family BigTable 使用 BMDiff 和Zippy 这两种压缩算法。 Column Family 的个数最多 100 少于 100 Column Family 名字的格式可打印可答应这两个系统都使用 Column Family 的名字作为文件系统中目录名 Column 名字的格式任意任意可以是任意字节数组。 Key 和Value 的格式任意任意和上面一样,可以是任意字节数组。访问控制支持不支持 BigTabl e在column famil y这个层次实现了访问控制。 Cell 版本支持支持主要通过 Timestamp 的形式来实现对 Cell 版本的控制。自定义 Timestamp 支持支持这两个系统都能让用户自己设定 Value 的 Timestamp 或者默认的“now ”。数据 TTL (Time-To-Live ) 支持支持数据 Cell 除了 Timestamp 之外,用户还能设定TTL ,用来在一段时间后,自动删去旧的数据。批处理写支持支持两个系统都支持批处理写。基于 Value 的计数器支持支持这两个系统都可使用特定的 Column 作为原子的计数器。 Row 过滤器支持支持在扫描 Row 的时候,可以通过过滤器来处理 Row 。脚本工具支持不支持 BigTable 有Sawzall 这个工具来帮助用户快速处理 BigTable 中的数据。 MapReduce 支持支持 BigTable 和HBase 都提供完善的类库和工具来支持 MapReduce 。存储系统 GFS HDFS, S3, S3N, EBS BigTable 主要运行于 Google 的GFS 上,而且 HBase 能支持多种存储系统,只要有相关的驱动或者代理。文件格式 SSTable HFile 都是 Immutable 的,也就是写好之后,很少更改的。 Block Index 文件尾部文件尾部内存映射 Yes NoBigTable 能将存储文件直接映射到内存中。锁服务 Chubby ZooKeeper 虽然两者功能类似,但在实现机制上稍有不同,原因是 ZooKeeper 主要通过协调任务来实现锁服务的。单一 Master 是不是 HBase 最近添加了对多 Master 的支持,而且通过ZooKeeper 来对那个”standby ”的节点进行监控和管理。 Tablet 的个数 10-1000 10-1000 无论是 BigTable ,还是 HBase ,其每个 Table t 节点都支持 1000 个左右的 Tablet 。 Tablet 的大小 100-200MB 256MB 大小可以用户自己设定。 Root Tablet 的地址 1st META -ROOT- BigTable 系统在 METADATA Table 的第一个 Tablet 中存放第一个 Tablet ,也就是 Root Tablet ,而 HBase 使用单一的一个 Tablet 来存放 Root Tablet 。 Client Tablet Cache 支持支持 Client 端会 cache 住tablet 的地址,也可以通过检测来更新本地的 cache 。 Locality 组支持不支持可将多个 Column Family 存储在一起。 Meta Prefetch 支持不支持 Clien t端能一下子读取多个Meta Table t的信息,这样能减少今后的查找。 Cell Cache 支持不支持缓存一些访问很频繁的 key/value 对。 In-Memory Column Families 支持支持能将小的Tabl e装载至内存,以提高访问速度。 Block Cache 支持支持 Historian 支持支持 METADATA