大数据与云存储.doc

大数据与云存储
“大数据”作为时下最火热的IT(information(technology)行业的词汇在互联网时代显得越来越重要。随之而来的数据仓库、数据安全、数据分析、数据挖掘等围绕大数据商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
大数据到底有多大
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP,Massively,Paralblle Processing)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。可以说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。
”随着云时代的来临,大数据(BIGdata)也吸引了越来越多的关注。
大数据具有规模大、价值高、交叉复用、全息可见四大特征。特别是,最后两个特征体现了大数据不仅仅有“规模更大的数据”这种量上的进步,还具有不同于以前数据组织和应用形式的质的飞跃。大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。
大数据能做些什么
大数据的应用示例包括了大科学、RFID(Radio Frequency ID entification)、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦察、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等。
仅仅十余年,很多企业爬过M B(megabyte)时代,走过G B(gigabyte)时代,现在正被赶着跑过TB(terabyte)时代,去迎接PB(petabyte)时代。事实上,如中国移动、联通、电信这样的移动通信运营商,如谷歌、百度、新浪、腾迅这样的大型互联网公司,如国家电网、交通运输部这样的职能部门,每天数据的更新量已经接近或达到了PB量级。
现在越来越多的政府、企业等组织机构意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。
大数据不仅是一种海量的数据状态及其相应的数据处理技术,更是一种思维方式,一项重要的基础设施。这或是明天我们治理交通拥堵、雾霾天气、看病难、食品安全等
“城市病”的利器,也会为政府打开了解社情民意的更大窗口。
众所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。那么越来越多的应用涉及大数据,而这些大数据的属性,包括数量,速度,多样性等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,可以说