大数据时代下的电子商务数据管理.doc.doc

大数据时代下的电子商务数据管理【摘要】大数据时代的到来,给电子商务数据管理的发展带来了机遇与挑战。本文通过分析现阶段电子商务数据管理方法, 将数据与管理策略相结合从而构建新时代下,电子商务大数据新型服务模式。【关键词】电子商务数据管理大数据时代的到来改变了人们对数据的认识和态度, 电子商务作为大数据产生的主要来源之一, 其发展状态及趋势越来越被人们所关注。电子商务数据每年增长约 60% , 但数据利用却不足 5%, 人们迫切希望通过数据的力量来解决一些发展道路上遇到的瓶颈问题。数据的价值逐渐被人们所重视, 数据的客观性、真实性、可靠性为电子商务的数据服务提供了坚实的“物质基础”,继而发展成为一种产业。那么大数据时代进行数据存储方式、读取方式、分析方式的创新以及增加数据服务模式已经成为大势所趋,本文正是对上述问题进行初步研究。一、数据存储方式随着 时代的到来,传统的数据存储模式已经不能够应付规模庞大的数据流。存储设备的成本增加, 数据洪期的不预定型, 结构化数据与非结构化数据混杂等因素让存储不得不做出彻底的变革。为了减少存储成本, 提高存储容量和存储空间利用率, 人们利用虚拟化技术对存储设备进行改造, 将所有存储空间作为一个资源池, 可以自由的配置存储设备空间。虚拟化技术主要利用软件实现对存储资源的控制, 根据实际需要可以将软件安装在相应的硬件设备之上。为提高一些性能较为低下的设备利用率, 可以通过网络将这些设备连接起来, 作为数据存储的载体。例如 San 系统,集群系统。 San 系统与集群系统都可以实现数据共享和访问, 并可以对存储空间进行自由的扩展, 但是 San 系统可以支持不同客户端的操作系统,扩展范围更加广泛,运用更加灵活。 San 网络存储由服务器、存储、互连组成,利用光纤通道实现对存储设备的管理, 既可以实现服务器到存储的数据传输, 也可以实现服务器到服务器的数据通信。 San 网络采用双环方式及数据远程备份,增加了数据安全性。 San 对于磁盘进行虚拟化,可以让磁盘同步存储数据,加速了磁盘读/ 写操作的效率。二、数据读取方式现阶段,电子商务的数据存储方式大多依靠广泛使用的关系型数据库。关系型数据库采用关系模型, 在结构上更容易理解, 而其使用的数据库操作语言 SQL 也广泛被人们所接受。由于其对数据类型等多方面的严谨性,减少了使得数据库的维护量,提高了数据管理效率。然而, 随着电子商务的飞速发展, 数据量的巨增, 给关系数据库的 I/O 端口造成了很大的压力。其次, 在对数据的查询操作上, 尤其是一些大表的嵌套查询, 效率非常低。由于庞大的数据量, 对数据库的维护造成了一定影响, 数据库无法动态扩展其存储空间及提高其负载能力。数据库升级和往往要进行停机维护,导致业务的中断。近年来, 非关系型数据库及分布式存储的出现可以解决传统关系型数据库存在的问题。 NoSQL 数据库是为了解决大规模数据集的管理,包括对数据的存储及并发控制。而数据的多样化, 非结构化等难题, 给大数据处理及分析带来了挑战。现在 NoSQL 类型有很多, 且各自拥有各自的技术优势, 数据管理者要结合自己的需求选择好合适的 NoSQL 数据库, 才能体现非关系型数据库具备的优势。 NoSQL 数据库主要分为:键值存储数据库, 列存储数据库,文档型数据库,图