Greenplum介绍.doc

greenplum特点:
基于开源的PostgreSQL改造的,专门针对大数据量处理的数据库服务器。
MPP理解为shared nothing架构
用户如果是使用的PostgreSQL可平滑的迁移到GP。
Oracle是基于后端共享数据存储,多个实例运行在存储之上的并行运算。
GP每个处理器都有自己的内存结构、操作系统和磁盘。
可以处理多个T的数据仓库,可以非常好的利用系统资源做并行查询。
GP后端是多个PostgreSQL(----)数据库,为整体的并行运算提供的解决方案。
其中的语法与函数是和PostgreSQL是极为相似的。
GP实际是将PostgreSQL进行修改、封装,就变为了商业版的GP数据库。对其中的许多功能进行修改、增强,使其适应并行处理的环境。
GP通过内部连接,是很多个独立的PostgreSQL数据库变成了一个逻辑数据库。对于客户端来说就是一个整体。
GP数据库非常适合用于BI环境当中,并专门针对此做了多处优化、增强。例如:并行数据加载、外部表、资源管理(resource management--控制单笔事物对资源的占用的,保障能够进行多笔事物处理,解决了并发处理的问题)、查询优化器和存储都进行了改善。
改善的目的:
提供一个可以进行多事物处理的并行运算环境。
GP公司将改善的这些特性又提供给了PostgreSQL的公共社团,例如分区表特性,已经被标准的PostgreSQL所应用。
架构:

如图所示:
客户端通过网络连接到GP database,其中Master Host是GP的主节点(客户端的接入点),Segment Host是子节点(连接并提交SQL语句的接口),主节点是不存储用户数据的,子节点存储数据并负责SQL查询,主节点负责相应客户端请求并将请求的SQL语句进行转换,转换之后调度后台的子节点进行查询,并将查询结果返回客户端。
子节点:进行数据存储及数据处理的。
主节点:进行工作调度的。

详细讲Greenplum Master
因为GP数据库是基于PostgreSQL的,终端用户与GPdatabase进行交互时(与主节点Master)进行交互,就好象典型的PostgreSQL 在与客户端进行交互一样。可以通过JDBC和ODBC和PostgreSQL的客户端psql进行连接时可以认为是一个PostgreSQL。
主节点中存储了系统目录,系统目录类似于Oracle中的数据字典,存储的是系统表以及包括了元数据。解释为:在建表时元数据(metadata)是在主节点上,但是数据是在子节点上。
主节点还包括用户认证功能。(客户端连接时的密码校验等)
处理又客户端发起的SQL请求、分发工作到后端子节点当中,并且将结果返回客户端。

详细讲Greenplum Segments
子节点负责数据处理和数据存储的功能,用户定义的表和索引被分发到子节点当中,子节点包含每一个数据的分片,这些分片是完全独立的,不会有重复的数据出现在两个节点当中。
例如:一张表中有4行,有两个子节点,4行是分布在两个子节点,其中任何一行都不可能同时出现在两个子节点上面。因为这两个子节点最后呈现给客户端来说就是一个逻辑的数据库。
GP公司建议按照硬件服务器的处理器or Co