Hadoop技术产品综述.ppt

Hadoop技术产品综述提纲大数据与Hadoop概述大数据概念、Hadoop概述Hadoop体系结构架构、HDFS、MR、生态圈Hadoop产品IDHHadoop环境搭建软硬件环境、实际部署设计什么是大数据?最初定义:monly-usedsoftwaretoolstocapture,manage,“3Vs”(volume,velocityandvariety)todescribethefeaturesofBigData2012年:GartnerBigDataarehigh-volume,high-velocity,and/orhigh-varietyinformationassetsthatrequirenewformsofprocessingtoenableenhanceddecisionmaking,insightdiscoveryandprocessoptimization视频大数据的过去与未来过去:科学研究:天文数据,地质数据,气象数据,基因组数据当前:互联网企业:搜索与门户网站:Google,Yahoo,Baidu,Sohu,Ease社交媒体:facebook,twitter,LinkedIn,Youtube,flickr,优酷电子商务:taobao传统企业:生产数据,物流数据,交易数据未来:物联网:智能交通,智能医疗,智慧家庭、城市、ingthenewrawmaterialofbusiness:aneconomicinputalmostonaparwithcapitalandlabor.TheEconomist,2010Informationwillbethe“oilofthe21stcentury”.Gartner,+transactioneveryhourinwal->thedawnofcivilizationto2003750MillionPhotosevery2daysinFacebook3BpairBasepairsanalyzedforhumangenome$800Binpersonallocationdatawithin10years$300B/yrUShealthcaresavingfromBigData6TBEverydayby20kserversinBaidu为什么要处理大数据传统上,很多数据不采集,或者直接丢弃大数据处理成为可能存储价格的下降计算能力的增强计算技术的发展大数据处理的意义:第4个V(Value)“企业竞争优势的取得不单纯依赖于更先进的分析技术,而是更多依赖于拥有多大规模、多么全面的数据以及能否及时从这些数据中获得有价值的信息和知识。”大数据应用的领先企业比不能很好应用大数据的企业发展速度快2到20倍——麦肯锡大数据市场规模预测2011-2016年中国大数据市场规模与增长2012年中国大数据行业投资规模数据来源:赛迪可以用数据仓库处理大数据吗High-volume上百PB,上千PB,超出数据仓库处理能力即便对于较小规模数据也非常昂贵,专用硬件High-velocity数据流速快数据仓库不是为实时数据处理设计的,需要ETLHigh-variety多种异构数据源,多种数据格式给数据仓库的ETL带来了挑战数据仓库中数据是纯净的,可信的,一致的,完整的,语义清晰的;大数据正好相反大数据要求新的计算平台原来的数据生命周期模型不再胜任,特定事件导致特定需求海量数据的存储与管理可伸缩的,廉价的,可靠的,灵活的(快速扩展,可重构)…异构数据的集成半结构化和非结构化数据不同数据源:logfiles,BIsystems,socialmedia,...不同数据格式:文本,语音,视频,图片,officefile,PDF,html/XML,EmailGroup/RSSfeed,DBtable,…高效检索快速响应,低延迟智能(语义)搜索海量数据的分析、挖掘与可视化上下文感知分析:基于上下文的建模,基于位置的服务