大数据方案介绍.docx

典型云计算平台架构
应用场找
in om 照葺，下 ■ mm
PCJK#A 两维袁备布得录害 Uni滥爆我
雄调歌霄创防饰作m^w
. w T^^^jpnrv—
白腱仔管理累面
开源成熟的hadoop生态体系
从企业
/ Kafka，消息队列式流失数据接入
/ HCatlog，元数据管理
/ Ambari，Hadoop平台监控、管理界面
/ ZooKeeper，保证系统无单点运行
/ Oozie，工作流式任务调度
方案的硬件方案
本方案对于硬件没用特别要求，平台可以部署在Amazon等云服务上，可以部署在实体物理 PC服务器构成的集群上，也可以部署在基于OpenStack等其他虚拟节点上。
大数据平台功能列表
在开源Hadoop模块的基础上，本公司的hadoop大数据平台对各模块做了整合，从而形成
一个通用的、企业级的数据平台。
系统结构图
系统管理
机尸管理 系统监控 调度菅制！
数据治理
口对日 Governor
数据分析
Data Analvzer
数据集成
办ata Integrator
数据可视化
Data Viewef
Hadoop
条统安全削件
平台功能模块
系统管理
系统管理模块提供如下功能：
. 节点管理，负责集群节点控制，可以增加、停用、启用或者移除节点。
.服务管理，对节点上每个服务进行管理，如HDFS, Yarn, HBase等，包括停止，启动， 重启。
.对象管理，Hive、HBase、HDFS数据对象的增删改查。
. 日志审计,操作日志记录了所有改变系统配置的操作,通过日志的查询审计,发现不当
操作,保证系统安全稳定运行。
多租户管理
多租户管理模块提供如下功能：
用户管理，负责用户的增删改查。
角色管理，负责角色的增删改查。
权限管理，负责授权和取消授权。
队列管理，负责Yarn队列管理。
资源使用规则管理，负责资源使用规则的增删改查。
系统监控
系统监控提供如下功能：
.集群监控，显示集群cpu、内存、网络、IO使用情况。
.节点监控，显示节点上每个组件服务的状态及运行情况；显示节点cpu、内存、网络、 IO使用情况。
. 任务监控，监控节点上每个作业的完成情况。
调度管理
Prospector大数据平台提供所有类型的任务调度管理。Prospector大数据平台的任务类型包 括：数据集成任务、数据预处理任务和数据分析任务三类。
Prospector大数据平台可以对所有类型任务实线以下类型调度：
一次性执行
定期执行
条件执行
数据集成（Datalntegrator）
数据集成理模块负责将外部数据源导入到Prospector大数据平台，同时也负责将数据分享到 其他的外部数据存储。
睿帆Data Integrator用于将外部数据源的数据集成到Hadoop大数据平台。Data Integrator支 持三大类数据源：
.数据库、NoSQL系统
.文件系统（FTP、HDFS）
.消息队列（Kafka、ActiveMQ）
数据库、NoSQL系统数据源
DB2
Oracle
Teradata
MySQL
Netezza
PostgreSQL
Sybase IQ
Vertica
Greenplum
Hive
HBase
文件系统与文件格式
Apache Log
CSV/TSV
HTML/XML
JSON
AVRO
Parquet
Binary
Key, Value
ORC
消息队列数据源
Kafka
ActiveMQ
数据治理(DataGovernor)
数据治理模块负责对导入到大数据平台中的数据进行处理，对数据进行清洗、转换、过滤、 聚合、脱敏等，将数据转化成有意义的数据供分析人员使用。
数据治理模块同时负责数据质量管理。
M-t
数据质量
1．数据质量评估。提供全方位数据质量评估能力，如数据的重复性、关联性、正确性、完 全性、一致性、合规性等，对数据进行全面体检。
2．数据质量检核和执行。提供配置化的度量规则和检核方法生成能力，提供检核脚本的定 时调度执行和第三方调度工具的调度执行功能。
3．数据质量监控。系统提供报警机制，对检核规则或方法进行阀值设置，对超出阀值的规 则进行不同级别的告警和通知。
.定制化数据质量报告。系统提供了丰富的API可进行定制化数据质量包括开发，另外系 统内置了常用质量报告。
.强大的数据质量问题分析能力。提供多种问题分析能力，包括血统分析，影响分析，全 链分析，定位问题产生的根源。
数据整理与转换
.数据整理。包括数据过滤、数据合并、数据拆分、数据复制、数据排序等数据预