Greenplum数据库开发基础.pptx

学习·创造·超越·共享 Greenplum 数据库开发基础 1 2014 年 10 月 China Construction Bank. | 2 目录 Greenplum 概述和数据分布数据加载和外部表客户端工具 Greenplum 数据库基础 Greenplum 与 Oracle 优化策略其他要点及示例 China Construction Bank. | 3 MPP 架构 MPP (Massively Parallel Processing) Shared-Nothing Architecture China Construction Bank. | 4 MPP 无共享架构的优势 Interconnect Loading ?数据分布在所有的并行节点上–每个节点只处理其中一部分数据?最优化的 I/O 处理–所有的节点同时进行并行处理–节点之间完全无共享,无 I/O 冲突?自动化的并行处理机制–内部处理自动化并行,无需人工分区或优化–加载与访问方式与一般数据库相同?最易于扩展的架构–BI和数据分析的最佳选择?增加节点实现线性扩展–增加节点可线性增加存储、查询和加载性能 China Construction Bank. | 5 Greenplum 基本架构 MPP (Massively Parallel Processing) Shared-Nothing work Interconnect ... ... ... ... Master Severs Query planning & dispatch Segment Severs Query processing & data storage SQL MapReduce External Sources Loading, streaming, etc. China Construction Bank. | 6 Greenplum 的并行处理特性?并行处理由系统自动完成,无需人工干预?所有数据均匀分布到所有节点,每个节点都计算自己的部分数据,所以并行处理无需人工干预,系统自动完成。?无需复杂的调优需求,只需要加载数据和查询?DBA 工作量极少,无需复杂的调优工作和维护工作。?扩展性?可线性扩展到 10,000 个节点?每增加一个节点,查询、加载性能都成线性增长?客户端访问及第三方工具支持?完全支持数据库技术接口标准,例如: SQL, ODBC, JDBC, OLEDB 等。同时,广泛地支持各个 BI和ETL 软件工具。 China Construction Bank. | 7 Greenplum 基本体系架构 China Construction Bank. | 8 客户端接口和程序? psql ? pgAdmin III ? ODBC/Datadirect ? JDBC ? Perl DBI ? Python ? libpq ? OLE DB China Construction Bank. | 9 Master Host ?访问系统的入口?建立与客户端的连接和管理? SQL 的解析并形成执行计划?执行计划向 Segment 的分发?收集 Segment 的执行结果?协调工作处理过程? Master 不存储业务数据,只存储系统目录表和元数据(数据字典) China Construction Bank. | 10 Segment ?每段(Segment )存放一部分用户数据?一个系统可以有多段?用户不能直接存取访问?所有对段的访问都经过 Master ?用户查询 SQL 的执行