浪潮云海insight分布式并行数据库mpp技术白皮书.doc

浪潮云海Insight
分布式并行数据库（MPP）
技术白皮书
版本：
尊敬的用户：
衷心感谢您选用了浪潮云海Insight产品！
本文档介绍了浪潮云海Insight产品的功能、技术规格等，可使用户更好地了解本产品的各种特性，充分发挥本产品的作用。
浪潮拥有本文档的。
未经浪潮许可，任何单位和个人不得以任何形式复制文档内容的部分或全部。浪潮保留随时修改本文档的权利。
本文档中的内容如有变动恕不另行通知。
如果您对本文档有疑问或建议，请向浪潮垂询。
浪 潮
目 录
第一章 产品概述 1
需求及背景 1
产品定位 1
产品价值 2
产品特性 2
产品应用场景 3
批处理ETL 3
在线服务应用 4
第二章 总体架构 5
架构图 5
组件说明 5
第三章 产品功能 7
ZooKeeper 7
功能描述 7
架构原理 8
特性 9
Greenplum 9
功能描述 9
架构原理 10
特性 11
第四章 对外接口 13
第五章 规格指标 14
第六章 部署规划 15
产品概述
需求及背景
为了应对行业转型和产业升级的需要，政府和企业客户开始越来越多的向大数据运营模式转型，将MPP（Massively Parallel Processing）技术平台引入到IT建设中，使其逐步成为IT系统中核心级、平台级的组成部分。而开源版本的MPP架构的Greenplum，各个组件更新升级频繁，品质不稳定，缺乏技术支持，距离落地为企业级产品仍然有很大差距。这些问题会导致整个大数据基础环境总体稳定性和性能指标不高，总体拥有成本不低反高。
浪潮基于丰富的行业大数据实践经验，选择符合主流技术发展方向的开源组件，并进行功能增强、性能优化、统一管理、安全保障等，发布了企业级大数据平台云海Insight MPP。
云海Insight MPP交付了MPP的核心元素——可扩展的存储和分布式的计算，以及所有必需的企业级支持能力比如安全、高可用性和广泛的硬件软件方案相集成。对那些寻找一个稳定的、有历史经验证明的及开源的大数据管理方案，并且避免专有供应商锁定的政府部门或企业单位来说，云海Insight MPP是使得其用户组织既可以在生产中可靠地使用MPP，同时又可以从开源社区借助到持续无穷创新的最佳方案。
产品定位
云海Insight MPP是MPP发行版，提供政府或企业大数据处理环境，无缝集成了MPP架构的Greenplum组件，提供PB级海量数据存储、查询、分析和挖掘能力。
作为业界领先的企业级分布式大数据处理环境，云海Insight MPP除了包含业界流行的基于开源Greenplum及其生态组件构建的核心，还包含了很多为支撑企业级业务的高级管理特性。借助于云海Insight MPP成熟的整体方案，政府或企业可以放心将数据整合在云海Insight MPP进行数据创新，进而专注于自己的业务能力。
产品价值
云海Insight MPP以Greenplum生态体系为主线，通过构建大规模分布式存储与计算集群，实现政府或企业用户内外部多源信息的融合采集、数据组织与管理、数据存储与计算等处理过程，深度挖掘海量数据的全新价值并实现海量数据的高效分析与利用。通过跨区域、跨部门、全业务联动、多信息轨迹即时跟踪和信息共享，全面提升数据共享和信息联动运转效率，进一步为用户业务管理、预警监测、宏观决策等方面提供强有力的信息化支撑。
从宏观层面，将有利于快速促进我省大数据的发展，结合国家深入推进的“互联网+”行动计划，实现为众行业、多区域、广企业等提供大数据支撑，有利于推动大数据产业与应用行业形成融合发展的新模式，实现更多商业创新。通过多源数据融合与“互联网+”的交叉运用，打造大数据运营生态环境，促进我省信息产业快速转型升级，推进跨界融合发展，形成我国新的产业发展模式，拉动社会就业，培养大数据人才，打造新的经济增长点。
产品特性
云海Insight MPP将MPP无共享架构的Greenplum生态系统的力量带给客户，产品具有如下关键特性：
灵活性
可以存储任意类型的数据并可以使用多种不同的处理框架对数据进行处理，如批处理、交互式SQL、文本查询、机器学习和统计分析计算。
集成化
快速建立并快速运行于一个完整的包装好的基于Greenplum的系统。
安全性
方便处理和控制敏感的数据，提供多租户的运行保护机制。