大数据处理对电子商务的影响研究_陈云海.pdf

电信科学!" !" 年第" 期大数据处理对电子商务的影响研究! 陈云海! !黄兰秋# !!" !"#$%&’()*89-. / 8: #!$%&’"(" ;<=>?***@ABCDE@ / 8: #!’’’% # 摘 要"鉴于传统的"# 基础设施难以对电子商务系统中日益增长的数据进行有效管理及利用! 本文在云计算的时代背景下! 对大数据处理技术进行分析阐述!并在此基础上!探讨了大数据处理对电子商务发展的影响" 关键词"大数据#电子商务#云计算!"#$ $%&’()(*+,-../,$%%%0%1%2,3%$’,%’,%%4 5 中国民航信息技术科研基地开放课题基金资助项目$67,8998 -"#:; - 3<23<) %% ! 引言随着&巨无霸电子商务$以下简称电商%’的出现!并发访问量级大大增加!数据呈爆炸性增长! 数据类型多样化! 淘宝和天猫在 3<23 年 22 月 22 日(双十一)的总交易额高达 2(2 亿元! 共吸引了 3&2’亿名独立用户访问* 春运时期! 铁道部售票网站日点击量在=亿次以上!伴随着业务量的剧增! 电商平台每秒钟都在生成海量的非结构化+ 半结构化数据,如文本+应用+位置信息+图片+音乐+视频等%* 高并发和大数据量访问成为当前电商系统发展的瓶颈! 根据调查!4) ! 的人认为处理大量数据是其最大的挑战>2? * 这些大数据量往往以@; ,2 <<< #; %+ A; , 2< ) #; % 或 B; ,2< ( #; %为计量单位!称为大数据* 传统的分布式计算+ 并行计算和数据库集群等技术由于技术上的局限性!长期存在扩展性低+成本高+硬件复杂等问题! 电商的大数据处理客观上要求引入具备高容错性+高扩展性+低成本+易使用性的新的架构和大数据处理技术* $ 大数据时代电商%& 基础设施的变革后互联网时代!***@8 服务器成为电商企业最广泛使用的"# 基础设施! 随着业务量的发展!电商企业大量使用了***@8 服务器集群技术和小型机技术! 用于满足日益增长的在线业务交易量*同时! 企业必须投入大量人* 财*物等资源对"# 基础设施进行常规性的维护+升级+扩容+更新* $’( 电子商务中数据仓库系统的发展当前! 电子商务的数据大规模存在且持续增长!表现%&’!( ") &*+ ,-./0& "1 234 5/&/ 67"08993)4 3) :;80&7")3 0 <"--8708 8CD/ EF/CG- 2H IFG/J KG/L-F 3 M2, NFG/JO7/J : "/.R-RFR D 7S 8C-/G #DTDQ7U 87,V KRO,V NFG/JWC7F =2<)’<V 8C-/GX 3, YQC77T 7S AQ7/7U-Q G/O ZG/GJDUD/RV Y7FRC 8C-/G 67PUGT [/-\DP.-R]V NFG/JWC7F =2<<<)V 8C-/G^ =>9&7/0&? "R -. O-SS-QFT R S7P RPGO-R-7/GT "# -/ D R7 UG/GJD G/O RCD JP7_-/J UG..-\D OGRG -/ DTDQRP7/-Q Q7UUDPQD DSSDQR-\DT], "/ \-D_ 7S -RV RCD -U‘GQR 7S a-J