数据存储冷.ppt

淘宝海量数据产品技术架构张轩丞(朋春)淘宝网-数据平台与产品部关于张轩丞(朋春)淘宝数据平台与产品部(杭州)vi党,ode社区组织者之一pengchun@:我是aleafs数据平台与产品淘宝网淘宝卖家供应商消费者搜索、浏览、收藏、交易、评价...一些数字淘宝主站:30亿店铺、宝贝浏览10亿计的在线宝贝数千万量级交易笔数数据产品:(6月1日)海量数据带来的挑战计算计算的速度处理吞吐量存储存储是为了更方便地查询硬盘、内存的成本查询“大海捞针”全“表”扫描架构总览主站备库RAC主站日志数据源MyFOXProm存储层数据中间层/glider查询层数据魔方淘宝指数开放API产品Hadoop集群/云梯计算层实时流数据DataX/DbSync/TimeTunnel1500节点,每日40000JOB,,凌晨2点结束,结果20T今天的话题关系型数据库仍然是王道NoSQL是SQL的有益补充用中间层隔离前后端缓存是系统化的工程关系型数据库仍然是王道关系型数据库有成熟稳定的开源产品SQL有较强的表达能力只存储中间状态的数据查询时过滤、计算、排序数据产品的本质拉关系做计算SELECTIF(INSTR(,'')>0,UPPER(TRIM()),CONCAT(,'',UPPER(TRIM())))ASf0, SUM()ASf1, ROUND(SUM()/AVG(),2)=('50002535') ANDthedate<='2011-07-09' ANDthedate>='2011-07-07'GROUPBYf0ORDERBYSUM()DESCLIMIT0,100存储在DB中的数据