大数据方案介绍.docx

典型云计算平台架构
网缁试書荐催设半Uiv^M
开源成熟的hadoop生态体系
从企业的技术选型角度，hadoop能满足大数据场景下绝打多数需求，同时在技术可行性与成本上，具有无可比拟额优势。
1、Hadoop是架构在廉价的FS数据对象的增删改查。
日志审计，操作日志记录了所有改变系统配置的操作，通过日志的查询审计，发现不当
操作，保证系统安全稳定运行。
多租户管理
多租户管理模块提供如下功能：
用户管理，负责用户的增删改查。
角色管理，负责角色的增删改查。
权限管理，负责授权和取消授权。
队列管理，负责Yarn队列管理。
资源使用规则管理，负责资源使用规则的增删改查。
系统监控
系统监控提供如下功能：
集群监控，显示集群cpu、内存、网络、10使用情况。
节点监控，显示节点上每个组件服务的状态及运行情况；显示节点cpu、内存、网络、I0使用情况。
任务监控，监控节点上每个作业的完成情况。
调度管理
Prospector大数据平台提供所有类型的任务调度管理。Prospector大数据平台的任务类型包括：数据集成任务、数据预处理任务和数据分析任务三类。
Prospector大数据平台可以对所有类型任务实线以下类型调度：
一次性执行
定期执行
>条件执行
数据集成（DataIntegrator）
数据集成理模块负责将外部数据源导入到Prospector大数据平台，同时也负责将数据分享到其他的外部数据存储。
睿帆DataIntegrator用于将外部数据源的数据集成到Hadoop大数据平台。DataIntegrator支持三大类数据源：
1．数据库、NoSQL系统
文件系统（FTP、HDFS）
消息队列（Kafka、ActiveMQ）
数据库、NoSQL系统数据源
DB2
Oracle
Teradata
MySQL
Netezza
PostgreSQL
SybaseIQ
Vertica
Greenplum
Hive
HBase
文件系统与文件格式
ApacheLog
CSV/TSV
•HTML/XML
JSON
AVRO
Parquet
Binary
Key,Value
ORC
消息队列数据源
Kafka
ActiveMQ
数据治理(DataGovernor)
数据治理模块负责对导入到大数据平台中的数据进行处理，对数据进行清洗、转换、过滤、聚合、脱敏等，将数据转化成有意义的数据供分析人员使用。数据治理模块同时负责数据质量管理。
业人n~t
数据质量
1．数据质量评估。提供全方位数据质量评估能力，如数据的重复性、关联性、正确性、完全性、一致性、合规性等，对数据进行全面体检。
2．数据质量检核和执行。提供配置化的度量规则和检核方法生成能力，提供检核脚本的定时调度执行和第三方调度工具的调度执行功能。
3．数据质量监控。系统提供报警机制，对检核规则或方法进行阀值设置，对超出阀值的规则进行不同级别的告警和通知。
定制化数据质量报告。系统提供了丰富的API可进行定制化数据质量包括开发，另外系统内置了常用质量报告。
强大的数据质量问题分析能力。提供多种问题分析能力，包括血统分析，影响分析，全链分析，定位问题产生的根源。
数据整理与转换
数据整理。包括数据过滤、数据合并、数据拆分、数据复制、数据排序等数据预处理功能。
数据转换。计算产生新变量、重新赋值、统计汇总、Rank、生成随机数、替换缺失值、空值处理、Lookup等数据转换功能。
数据分析(DataAnalyzer)
数据分析模块提供应用开发环境、集成简化机器学习算法、提供图形化的拖拽界面供数据分析使用。
应用开发用户通过可视化方式定义工作流完成下数据分析：统计报表、数据挖掘、机器学习、文本挖掘。
拖拽式可视化开发环境
「：5=T*门r■-?:
SgualnzskarfcCitlDAckasit
F、匡1已1叫Q®|X|O|HI
IrerMbrin
企业数据分析用户通过可视化开发环境定义数据分析的逻辑，DataAnalyzer将其转化成对底层数据分析算法的调用，并提供任务执行、任务调度和任务管理功能。
DataAnalyzer样例
企业数据分析师可以同过DataAnalyzer完成一系列数据分析。
聚类
通过聚类算法，DataAnalyzer可以把企业客户分成相似但不相同的、又无直接关联关系的客户群体，显而易见是聚类结果可以帮企业客户分群。
决策树
通过决策树算法，DataAnalyzer可以把客户根据不同属性的取值划分到固定的类别，例如高收入、高潜力、高风险等。而这些通过属性的分类规律很可能隐藏在数据中而从