趟过大数据泥潭.docx

趟过大数据泥潭被玩坏的大数据在 2010 年前如果你跟人们谈及大数据,可能只会有极少数的人知道,可以与你聊上几句。在今天如果你跟人们谈及大数据,路上买菜的大妈没准都能跟你说上几句。在 Googl e 的 GFS 和 MapReduce 论文发表之前,大数据相关的技术一直处于小众类型,只有超大型的互联网公司会涉及,因为它们有这样的需求,由于互联网的飞速发展,“被迫”走上了大数据的路线。对于其他的大众的公司, 没有机会涉及, 绝大多数也没有能力去研发大数据的相关技术。然而随着 Doug Cutting 根据 Google 发布的论文实现了 Hadoop(HDFS 和 HMapReduce) ,发布到 Apache 之后,各大厂商和优秀的程序员都加入其中,使其很快推出稳定版本。同时各大厂商也都包装出自己的商业版本,由于大家都看到了大数据是未来, IBM 、 HP 、 EMC 等厂商开始了卖力的推广, 各种会议、论坛、广告,将 Hadoop 技术推上神坛,让 Hadoop 技术成为大数据方面事实的标准。大数据技术( 注:大数据技术指所有大数据相关的技术,不限于 Hadoop) 被过度神化, 大多数企业都认为大数据能够解决一切问题, 上了大数据就能产生巨大的价值, 不上大数据就要被淘汰。同时大厂商的技术权威性, 以及多年来对其产生的信任, 使得大到上万人集团, 小到几十人的小型企业,都开始关注大数据,并着手上线大数据。企业按照常规项目一样, 成立项目组, 成立项目团队, 开始研发项目。幻想着通过上线大数据解决性能、横向扩展等问题。可在项目进行时,发现大数据并不向 PPT 中描绘的那样美好, 很多业务上的问题到了大数据中就实现不了或难以实现了。预想通过大数据提高性能,可原本在 RMDB 中几秒的查询,到了大数据中变成了几十秒,甚至几分钟。并且在研发与运行的过程中, 集群出现了各种以前从未遇到过的问题, 大多数这类项目都以失败而告终。这类项目失败的原因有很多, 主要原因在会议、论坛、广告上介绍技术时, 实际上隐藏了很多内部细节, 仅描绘了好的结果, 可却没有告诉大家, 要实现目标, 需要一段艰辛的“旅程”和强大的技术团队陪同。同时大数据是有一定的适用场景的, 并不是所有项目都适应大数据。上大数据前期需要投入大量的成本,包括网络、设备、人力等。大数据通过大量技术的开源, 已经不是个别尖端高富帅的专利, 但依然不是一般屌丝能够玩的转的。请大家看清大数据的本质, 了解其应用场景, 再分析是否适合自己, 同时是否有足够的投入、决心和耐心。“你”真的需要大数据吗? 要分析清楚是否真的需要大数据,我们可以借助成本/ 规模曲线进行分析,下面让我们看一下大数据技术的成本/ 规模曲线,如下图成本/ 规模曲线从上图中我们可以看出, 大数据与传统技术的差别, 传统技术的门槛较低, 初期投入较少, 但随着规模的增大, 成本越来越大, 且增长较快。大数据技术初始成本就很高, 但是随着规模的增加,成本增加较少。上图还根据曲线划分成了三个阶段。阶段一: 传统技术优于大数据, 阶段二: 大数据优于传统技术,阶段三:传统技术无法满足该规模。绝大多数企业其实还属于第一阶段的前中期, 在此时上大数据有害无益。最佳的时机应该在第一阶段的后期, 同时要有耐心在大数据的路上持续的走上去, 大数据真正发力的是