运营商大数据应用解决方案模板.doc

运营商大数据应用解决方案运营商大数据应用解决方案目录1. 大数据概述 4. 概述 4. 大数据定义 4. 大数据技术发展 62. 大数据应用 9. 大数据应用阐述 9. 大数据应用架构 11. 大数据行业应用 11. 医疗行业 11. 能源行业 12. 通信行业 12. 零售业 133. 大数据解决方案 14. 大数据技术组成 14. 分析技术 14. 可视化分析 14. 数据挖掘算法 14. 预测分析能力 14. 语义引擎 14. 数据质量和数据管理 15. 存储数据库 15. 分布式计算技术 16. 大数据处理过程 18. 采集 18. 导入/预处理 19. 统计/分析 19. 挖掘 19. 大数据处理的核心技术-Hadoop 19. Hadoop的组成 20. Hadoop的优点: 23. 高可靠性。 23. 高扩展性。 23. 高效性。 23. 高容错性。 23. Hadoop的不足 23. 主要商业性“大数据”处理方案 24. IBMInfoSphere大数据分析平台 24. OracleBigDataApplianc 25. MicrosoftSQLServer 25. SybaseIQ 26. 其它“大数据”解决方案 26. EMC 26. BigQuery 27. 大数据”与科技文献信息处理 27. 大数据处理技术发展前景 27. 大数据复杂度降低 27. 大数据细分市场 28. 大数据开源 28. Hadoop将加速发展 28. 打包的大数据行业分析应用 28. 大数据分析的革命性方法出现 29. 大数据与云计算:深度融合 29. 大数据一体机陆续发布 294. 基于基站大数据应用及案例 30. 气象灾害应急短信发布平台 30. 概述 30. 项目背景 30. 平台概述 30. 平台建设特点与原则 30. 建设特点 30. 建设原则 30. 大数据管理平台特点 31. 平台整体架构 31. 建设原理 31. 平台总体设计 331. 平台总体结构 33. 平台技术思路 34. 旅游客源分析 34. 整体方案 34. 方案思路 34. 系统架构 35大数据概述概述大数据,IT行业的又一次技术变革,大数据的浪潮汹涌而至,对国家治理、企业决策和个人生活都在产生深远的影响,并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟,移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络,由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。数据技术发展历史如图一所示:图一大数据定义“大数据”是一个涵盖多种技术的概念,简单地说,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V,即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生的价值(Value)。如图二;图二要理解大数据这一概念,首先要从"大"入手,"大"是指数据规模,大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别,其基本特征能够用4个V来总结(Vol-ume、Variety、Value和Veloc-ity),即体量大、多样性、价值密度低、速度快。数据体量巨大。从TB级别,跃升到PB级别。数据类型繁多,如前文提到的网络日志、视频、图片、地理位置信息,等等。价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。当前所说的"大数据"不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域,通过解决巨量数据处理问题促进其突破性发展。因此,大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息,也体现在如何加强大数据技术研发,抢占时代发展的前沿。大数据技术发展大数据技术描述了一种新一代技术和构架,用于以很经济的方式、以高速的捕获、发现和分析技术,从各种超大规模的数据中提取价值,而且未来急剧增长的数据迫切需要寻求新的处理技术手段。如图三所示:图三在“大数据”(Bigdata)时代,通过互联网、社交网络、物联网,人们能够及时全面地获得大信息。同时,信息自身存在形式的变化与演进,也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。云时代的到来使得数