大数据方案介绍.doc

大数据方案介绍.doc典型云计算平台架构
应用场廿
云＞1■算帧丼＜11
云计理舉务
rrtr・ i r^n n・刁：c IF和T*
rrm ee mn rmn ・w
PCJK*a 尺缩说各 Uni对E翼耳
开源成熟的hadoop生态体系
从企业的技术选型角度，hadoop能满足大数据场景下绝打多数需求，同时在技术可行性与 成本上，具有无可比拟额优势。
1、 Hadoop是架构在廉价的硬件服务器上，不需要非常昂贵的硬件做支撑。 2、开源的产品，
免费的，基于开源协议，可以自由修改，可控性更大。 3、因为属于二次开发，同时因为有非常
活跃的社区讨论，对开发人员的能力要求相对不高，工程师的学习成本也并不高。 4、当集群规
模非常大时，开发成本和维护成本会凸显岀来。 但是相对于自研系统来说的话，还是便宜的很多。
hadoop的整个生态体系，涵盖了系统数据存储、数据收集、数据导入导出到关系数据
库、并行计算框架、 数据序列化处理与任务调度、 数据挖掘和机器学习、列式存储在线数据 库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面。
Hadoop Ecosystem Map
0 Ftie system
Watkffovif
电 SQ^OQ
$ Engine * Logue
* //te母b至尹】
Mare High
Lev^l
Monftof^mana^e
血 Hmctoop eco^ysfem
隔 Suppoft
A
High L3刨 Interfaces
Al i pse
2
大数据分析平台
一、 海量数据存储及扩展能力
基于分布式 HDFS文件系统存储，HA高可用配置，数据多副本，异地备份容灾能力，以最 经济的硬件成本支持海量数据存储和扩容。
二、 高负载和海量数据处理能力
基于yarn之上的资源管控与调度模型，支持资源的动态配置与热启动，公平科学的任务调 度算法，达到资源利用的最大化、 合理化。优先分配就近的运算节点， 尽可能降低网络带宽。 高容错能力，支持任务重试和资源预估，不受个别越算节点故障影响。支持动态扩充运算资 源。能在海量的服务器集群中执行高复杂度、高资源需求、高运算密集型的任务。
三、 灵活快速的平台搭建及全面运营监控指标体系
一键式的平台搭建，支持快速搭建集群环境。灵活方便的配置界面，可针对集群、 单机进行
系统配置及调优。提供自定义的服务模块安装、资源分配、权限管理。 指标体系全面的监控
管理、良好的可视化界面，提供自定义脚本的预警与处理。
CPU
Narri»NciCl« UpTjrr*
hUiiTWN^f H«jp
dl
H^«Liink«
t RogKm^r^Nrs
ale r W?b LN
R*tG*LirE«Mi3nAger
Uptime
NodtManaigeri LJvi
8/8
NwtNo>dle RPC
ms
HBa?* flw Lo*dl
1
期e*hq卄 CPU wiO
ClIK
4Rai» Uptim*
d
VARN Memory
^■Uptrvison *
0/8
四、多平台、多结构的数据接入与处理
支持各种格式、多数据源的数据导入。从系统日志、数据库、 第三方数据源等导入数据到集
群环境，进行快速地数据清洗、转化、建模、固化，提供各业务模块进行运算处理。良好的 模板配置，支持多 ETL任务自动生成、运行。代码规范统一。
五、体验良好的交互式展示界面及报表工具
除了展示各个常规指标及运算记过。 通过专业的统计数据分析系统设计方法， 理清海量数据
指标与维度，按主题、成体系呈现复杂数据背后的联系 ；将多个视图整合，展示同一数据在
不同维度下呈现的数据背后的规律， 帮助用户从不同角度分析数据、 缩小答案的范围、展示
数据的不同影响。具备显示结果的形象化和使用过程的互动性， 便于用户及时捕捉其关注的
数据信息。
Hadoop 大数据分析平台解决方案说明
简介
本文档描述本公司 Hadoop 大数据分析平台解决方案的具体实现细节。本平台采用开源 Hadoop 组件搭建为一个通用目的的大数据分析平台，可用于各领域，包括：教育、医疗、 电信、银行等大数据应用客户。
平台具备如下特点：
一键安装
可视化运行维护
自由的扩展性
完全开源，并于最新的稳定版本同步
无缝集成 Hadoop 生态领域的各个数据分析组件
可视