大数据平台建设方案.pptx

该【大数据平台建设方案 】是由【书犹药也】上传分享，文档一共【20】页，该文档可以免费在线阅读，需要了解更多关于【大数据平台建设方案 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。大数据建设方案介绍
第1页
三、大数据平台建设方案
二、主流技术比较
一、大数据介绍
目录
第2页
什么是大数据
“大数据”是指其大小超出了经典数据库软件采集、存放、管理和分析等能力数据集。当前,大数据普通范围是从几个TB到数个PB。
——麦肯锡
无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理大量而复杂数据集合。
——维基百科
数量大、获取速度快或形态多样数据,难以用传统关系型数据分析方法进行有效分析,或者需要大规模水平扩展才能高效处理。
——美国国家标准技术研究院(NIST)
体量大、快速和多样化信息资产,需用高效率和创新型信息技术加以处理,以提升发觉洞察、做出决议和优化流程能力。
——Gartner企业
第3页
对大数据了解
网络数据、用户数据、应用数据汇聚组成了我们“大数据”。这些结构化、非结构化数据处理和建模形成对用户、服务、资源、终端等对象洞察。这些洞察与市场营销、网络运维等业务流程衔接将会给企业带来新价值。
大数据具备Volume海量、Variety多样、Velocity快速、Value价值特点。据Ericsson预测,到年,每个手机终端每个月将产生2G数据。(EricssonMobilityReport,)
改进市场运行效率
结构化数据处理
非结构化数据处理
网络数据
•话单XDR
•性能监测
•故障监测
•网络资源
用户数据
•HSS信息
•BSS数据
•OSS数据
•终端
应用数据
•内容DPI
•Web
•Socialmedia
•APPS
洞察:用户/服务/资源/终端/......
提升网络运维效率
改进客户满意度
创新商业模式
数据采集
建模分析
运行改进
传统商业智能
大数据1
大数据2
批处理,事先定义查询和模型
非结构化数据,包含互联网日志、web文本信息,非实时或准实时
流处理,实时内容智能感知,策略执行,连续更新
价值
实时性
采集、建模和应用
数据处理实时性与价值呈正比
第4页
数据分布
B域
B域数据以客户关系、用户行为、产品信息等为主,支撑客户经营和产品营销等
O域
O域数据以设备数据、告警信息和性能信息等为主,支撑网络监控、网络优化、用户投诉处理等
M域
M域数据以财务、人力资源、供给链和办公信息等为主,支撑企业管理、企业办公信息化等
DPI数据域
DPI数据域以上网日志、内容组成、用户轨迹、网络信令等为主,可支撑流量经营、网络运维和增值服务等
业务平台
九大业务基地:基地数据以用户信息、用户行为信息等为主,可支撑个性化推荐、优化产品和服务等。WAP/短彩信:存放网络日志,可支撑定位网络及终端问题。
第5页
大数据利用
对内:
客户上网数据处理、网页爬取和网页分类、分析挖掘客户上网行为
详单查询、上网日志查询
流量分析、客户视图、精准营销
网络运维优化
对外:
与航空企业合作,建立乘机客户识别模型,提供大数据挖掘、客户发展全流程大数据信息服务,提供针对性营销方案
与交通运输部、省高速公路合作,开展“基于XX大数据分析在交通行业中应用”研究项目
利用通信信令实时分析景区人流量,结合游客行为数据挖掘,为旅游管理部门、景区提供数据决议参考
以客户授权为依据,发挥XX客户实名数据优势,为互联网金融提供客户信息验真服务
与外部客户合作在手机冲浪平台实施XX广告精准投放
当前主要XXXXX都已主动探索开发其内部大数据资源。但从当前应用发展看,XXXXX大数据仍主要用于内部服务,如支持内部客户流失分析、营销分析和网络优化分析等,对外应用模式还未成型,部分XXXXX开始尝试经过给第三方提供数据产品和服务,进行数据增值。
第6页
三、大数据平台建设思绪
二、主流技术比较
一、大数据介绍
目录
第7页
大数据具备数据量大、数据类型多、数据处理速度要求高和价值密度低特点,传统分析系统架构(RDBMS+小型机+高端阵列模式)下,传统数据库无法支撑海量数据(如100TB以上,性能下降)、非结构化数据,现有IOE架构无法线性扩展且成本高昂。
大数据处理技术
大数据对传统数据处理技术体系提出挑战
大数据处理技术
OldSQL:传统关系型数据库
NewSQL:新型MPP数据库,关系型数据库
NoSQL:泛指非关系型数据库
Hadoop:对大量数据进行分布式存放和处理软件框架
第8页
大数据三大技术比较
面对海量种类繁多数据进行实时数据分析和离线数据分析,仅有传统数据库技术已不适用,需要针对不一样数据场景选择不一样技术伎俩。
MPP数据库:适合结构化数据深度分析、复杂查询以及多变自助分析类应用、数据集市等。
Hadoop:适合海量数据存放查询(详单存放和查询)、批量数据ETL、非结构化数据分析(日志分析、文本分析)等。
传统数据库:在复杂关联、汇总、事务处理方面能力强,适合数据量小、高可靠、数据价值密度高应用。
第9页
大数据目标架构
数据处理层(数据存放、数据计算、数据共享)
基础数据资源池(HADOOP)
Map/Reduce2
HIVE
Hbase
HDFS
分析数据资源池(MPP)
分布式关系数据仓库
SPARK
Shark
YARN
统一调度
流处理资源池
分布式
内存数据库
实时行为识别
复杂事件处理
框架
实时模型计算
任务调度
资源管理
统一作业
数据管理
元数据管理
数据质量管理
经分数据模型计算
网络数据模型计算
管理分析模型计算
…
数据调度
Hadoop平台软件布署于Hadoop大数据处理集群,实现海量非结构化数据存放与处理以及结构化数据垂直汇总。
在当前数据种类繁多、数据处理复杂情形下,不适合采取一个单一技术处理全部问题,大数据平台据需要采取Hadoop资源池、MPP数据库、流处理资源池混搭大数据技术架构
数据平台基于MPP、Hadoop、流处理等云计算、大数据技术
流数据与复杂事件处理(CEP)规则引擎平台用于对数据流进行实时处理,实现对高速数据流接入与实时处理,实时探测关键事件
MPP数据库用于结构化数据关联分析。
一体机资源池
(DW)
OLAP应用
DW数据库用于分析处理统计分析类OLAP应用
第10页