大数据方案介绍.docx

大数据方案介绍
大数据方案介绍
大数据方案介绍
典型云计算平台架构
开源成熟的ｈadoｏp生态体系
从企业的技术选型角度，hadoｏp能满足大数据场景下绝打多数需求,同时在技术可行性与成本上，具有无可比拟额优势。
　1、 Hａdoop是架构在廉价的硬件服务器上,不需要非常昂贵的硬件做支撑。２、　开源的产品,免费的，基于开源协议，可以自由修改，可控性更大。3、因为属于二次开发，同时因为有非常活跃的社区讨论，对开发人员的能力要求相对不高，工程师的学习成本也并不高。4、当集群规模非常大时，开发成本和维护成本会凸显出来。但是相对于自研系统来说的话，还是便宜的很多。
　　　hadoop的整个生态体系，涵盖了系统数据存储、数据收集、数据导入导出到关系数据库、并行计算框架、数据序列化处理与任务调度、数据挖掘和机器学习、
大数据方案介绍
大数据方案介绍
大数据方案介绍
列式存储在线数据库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面.
大数据分析平台
一、海量数据存储及扩展能力
　 基于分布式HＤFS文件系统存储，HA高可用配置， 数据多副本，异地备份容灾能力，以最经济的硬件成本支持海量数据存储和扩容.
二、高负载和海量数据处理能力
基于ｙarn之上的资源管控与调度模型，支持资源的动态配置与热启动,公平科学的任务调度算法,达到资源利用的最大化、合理化。优先分配就近的运算节点，尽可能降低网络带宽。高容错能力，支持任务重试和资源预估，不受个别越算节点故障影响。支持动态扩充运算资源。能在海量的服务器集群中执行高复杂度、高资源需求、高运算密集型的任务。
大数据方案介绍
大数据方案介绍
大数据方案介绍
三、灵活快速的平台搭建及全面运营监控指标体系
一键式的平台搭建,支持快速搭建集群环境。灵活方便的配置界面，可针对集群、单机进行系统配置及调优。 提供自定义的服务模块安装、资源分配、、良好的可视化界面,提供自定义脚本的预警与处理。
四、多平台、多结构的数据接入与处理
　支持各种格式、、数据库、第三方数据源等导入数据到集群环境，进行快速地数据清洗、转化、建模、固化，提供各业务模块进行运算处理。良好的模板配置,支持多ETL任务自动生成、运行。代码规范统一.
五、体验良好的交互式展示界面及报表工具
大数据方案介绍
大数据方案介绍
大数据方案介绍
，理清海量数据指标与维度，按主题、成体系呈现复杂数据背后的联系；将多个视图整合,展示同一数据在不同维度下呈现的数据背后的规律，帮助用户从不同角度分析数据、缩小答案的范围、,便于用户及时捕捉其关注的数据信息.
Haｄoop大数据分析平台解决方案说明
简介
,可用于各领域，包括：教育、医疗、电信、银行等大数据应用客户。
平台具备如下特点:
一键安装
大数据方案介绍
大数据方案介绍
大数据方案介绍
可视化运行维护
自由的扩展性
完全开源,并于最新的稳定版本同步
无缝集成Ｈadoop生态领域的各个数据分析组件
可视化大数据实验环境
方案采用的Hadoop模块列表
HＤFS，用于大规模数据存储
Yarn,系统资源管理
Ｈive，基于Ｍapreduce的SQＬ数据访问
Pｉg，脚本式数据处理
Sｔｏrm,流式数据处理
Ｓpark/Ｓｐarｋ　Stｒｅaming，内存计算框架
ＨＢａｓe，Kｅｙ－Ｖalue数据存储
MaｐＲedｕｃe，离线批处理计算框架
Kａfka，消息队列式流失数据接入
ＨＣatｌoｇ,元数据管理
Ambari，Ｈadｏop平台监控、管理界面
ＺoｏKeeｐer，保证系统无单点运行
Ooｚie，工作流式任务调度
大数据方案介绍
大数据方案介绍
大数据方案介绍
方案的硬件方案
本方案对于硬件没用特别要求，平台可以部署在Amazon等云服务上,可以部署在实体物理PC服务器构成的集群上,也可以部署在基于ＯｐｅnＳｔack等其他虚拟节点上。
大数据平台功能列表
在开源Hａdoop模块的基础上，本公司的haｄoop大数据平台对各模块做了整合，从而形成一个通用的、企业级的数据平台。
系统结构图
大数据方案介绍
大数据方案介绍