GBASE培训总结.docx

问题
10PB/节点有效数据?支持infiniband网络?PB级支持能力?pdf2ppt?备份库不能选库必须为全量?集群内跨库操作映射不支持?按秒存储时间?
背景:
三大应用
OLTP-OLAP-NOSQL
One size fits all to much size fit all
集群架构特征:
应用程序(接口层SQL->任一节点访问)
数据库节点(集群)(负载平衡)
数据分发节点(ETL)
外部数据来源
集群结构:
节点192个规格(64组*3节点),内部高速互联
分布式任务下发与回应
集群管理工具-集群节点N
LUSTER数据管理层分解SQL任务管理,不进行计算
节点NODE数据存储计算实例,直接加载数据,LSTER
节点GCWARE节点管理,节点为单位,非数据位单位
SAFE GROUP:多个节点组成,数据互为备份,根据数据量高可用要求进行配置节点数,组数,扩展时以safe group为单位进行,不是以节点为单位扩展,多副本(目前最多2副本,3节点1个组)
上部是应用接口层下部是基础层(UNIX系统)再下是数据分发节点及外部数据来源
核心技术:
列存储,数量大越大效率越高
高效压缩 1:20,提升I/O性能,以列为单位选择灵活压缩,表级压缩,配置文件配置全局压缩,优先级列-表-全局三层压缩;列压缩方式选择(0,0)(1,3)(5,5),新建表才能改数据列压缩模式,旧的存储不能更改。
智能索引:以数据包为单位建立索引,可扩展,占领空间小
双向并行:单表 300GB/小时,多表300GB/小时,集群(20节点以上)2TB/小时
全文检索:增加工具doc2txt,建立全文检索等模块,并行完成
理论极值:
列存 1TB-100GB
自适应压缩 100GB-10GB
智能索引 10GB-1GB
并行
逐步提升处理效率
架构演进:
单机数据库计算集中,存储集中
共享数据库计算分布存储集中
MPP+Shared nothing 计算分布存储分布
场景应用:
分析类应用查询统计数据挖掘全文检索
优势体现:
优秀与适合比较
PCSERVER+LINUX+SATA vs 小型机+UNIX+阵列
硬件成本几万元
目标:2014
结构化+半结构+非结构(30PB,500节点)
对接HADOOP可以处理非机构化数据如语音,视频等数据流
继续优化2013实现的功能包括阵列混存等
安装与卸载
集群规划

数据部署方式:复制表(节点内,小表,或与其他表join较多的as复制表) 分布表(组内节点间,大表as分布表)
分布表:随机分布表轮询, 易有瓶颈;HASH分布表,以某一列做HASH计算,算出每个行(现在已经是块,65536行就是一个块,不是行)的HASH值进行节点分布,若HASH值分布密集也可能存在瓶颈

2节点or 3节点做安全组
单节点:数据存储空间(复制表,分布表,分布表复件,索引),运算存储空间
硬件高可用
多网卡绑定:适配器容错,主备方式;负载均衡
系统占用1TB空间,ext4格式化,ode,索引与元数据
Gccluster
目录大小:节点/ 50GB, /opt TB级别
客户端安装
企业管理器JDBC节点