H3C大大数据产品技术白皮书.doc

word
word
I / 18
word
H3C大数据产品技术白皮书
某某华三通信技术
12:08目 录
1H3C大数据产品介绍1
产品简介1
产品架构1
数据处理2
数据分层3
产品技术特点4
word
word
II / 18
word
先进的混合计算架构4
高性价比的分布式集群4
云化ETL4
数据分层和分级存储5
数据分析挖掘5
数据服务接口5
可视化运维管理5
产品功能简介6
管理平面功能：6
业务平面功能：6
2DataEngine HDP核心技术8
3DataEngine MPP Cluster核心技术8
MPP + Shared Nothing架构8
核心组件9
高可用10
高性能扩展能力10
高性能数据加载11
OLAP函数12
行列混合存储12
H3C大数据产品介绍
产品简介
H3C大数据平台采用开源社区Apache ，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力。H3C大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以与可视化等全系列功能，并广泛地用于支撑各类数据仓库系统、BI系统和决策支持系统帮助用户构建海量数据处理系统，发现数据的内在价值。
产品架构
H3C大数据平台包含4个局部：
第一局部是运维管理，包括：安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。
word
word
2 / 18
word
第二局部是数据ETL，即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具 Kettle。
第三局部是数据计算。MPP采用分析型分布式数据库，存储高价值密度的结构化数据；Hadoop存储非结构化/半结构化数据和低价值密度结构化数据。计算结果都存到数据仓库，数据仓库中的数据可直接用于分析和展示。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
第四局部数据服务，包括：机器学分析、SQL和API，为应用层提供服务和中间件调用。
数据处理
对于大数据管理平台，应该建立一套标准化、规X化的数据处理流程，例如：如何采集内部和外部数据、结构化和非结构化数据；如何清洗采集来的脏数据和无效数据；如何对不同来源的数据进展打通；如何对非结构化的数据进展结构化加工；如何在结构化数据的根底上进展商业建模和数据挖掘等等。大数据管理层在一条数据总线上构建了一条完整的大数据处理流水线。这条流水线从数据的采集、清洗到加工处理，把原始杂乱无章的数据加工成结构化的数据组件，供上层的大数据应用来拼装调用，让企业拥有创造数据资产的能力。
word
word
2 / 18
word
数据分层
ODS层：数据来源于各生产系统，通过ETL工具对接口文件数据进展编码替换和数据清洗转换，不做关联操作。未来也可用于准实时数据查询。
轻度汇总层：主题域内部基于明细层数据，进展多维度的、用户级的汇总
明细数据层：主题域内部进展拆分、关联。是对ODS操作型数据按照主题域划分规如此进展的拆分与合并。
信息子层：报表数据、多维数据、指标库等数据来源于汇总层。汇总层：主题域之间进展关联、汇总计算。汇总数据服务于信息子层，目的是为了节约信息子层数据计算本钱和计算时间。
应用层：应用系统的私有数据，应用的业务数据。精细化营销做为大数据平台的一个上层应用，由大数据平台提供数据支撑。
word
word
3 / 18
word
产品技术特点
先进的混合计算架构
采用Hadoop和MPP融合技术架构，对半结构化和非结构化数据支持并行计算和低本钱存储，提供低时延、高并发的查询和分析功能；对结构化数据采用MPP分布式列存储，支持分布式计算、智能索引等功能，实现高性能结构化数据分析处理。集成MapReduce、Spark、Storm、Tez等多种计算框架，利用YARN资源管理做统一管理，可在同一份数据集上运行多种计算。离线计算、内存计算和流式计算并存，能满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。
高性价比的分布式集群
基于x86服务器本地的计算与存储资源，计算集群可以动态调整，从数台到数千台之间弹性扩展，按需构建应用，减少总体本钱；同时，在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供计算和存储的高可靠保证，具备较强的容错性。
云