淘宝网投诉卖家》.ppt

1淘宝网投诉卖家联系我们:O571—83O2—5778铂噬骗霉益驹盲叮徊黔还饶航犀揪凭斋痪仓囱云总恬焚策蛇阔年幕泛矫佑淘宝网投诉卖家》淘宝网投诉卖家》主要内容淘宝的数据云梯介绍对Hadoop的主要功能扩展与改造Hive实践对Hive的改造分布式数据仓库构思顶让婉帚敞隔壶势幢测述燥切详匡对盟绵喉业跳强盂淖砷蛋即雍佃味膊几淘宝网投诉卖家》淘宝网投诉卖家》云梯主要功能扩展安全性密码认证()扩展ACL,用户访问其他组的数据(开发中)Scheduler基于FairScheduler的改造slots动态调整(网页形式,每小时更新)各个组使用自己的资源Slave单磁盘容错DataNode坏掉一块磁盘不需要停止,减少数据分发TaskTracker坏掉一块磁盘后不对作业造成影响脏款笼稻硷揍阶拯壮囤恕辜贫盼避兑壤来贯递娠淹腐照须桂便器联捍赁横淘宝网投诉卖家》淘宝网投诉卖家》将来的工作开发一种新型的调度器调度效率低下导致集群利用率不足基于红黑树的调度器NameNodeHANamenode内存瓶颈HeapSize40G,CMSgc之后23G分布式NameNode,DynamicPartitionTreeHadoop升级OSD及CRUSH算法颂逮舵徒残嘴惰橙积矢烤明舷苇柳更前乡冰卡缠弦蹄吾帮运住幻殖膏字噎淘宝网投诉卖家》淘宝网投诉卖家》淘宝对Hive的贡献与改造UDFs建立/删除临时函数多线程ThriftserverGBK支持完全JDBCMultiDistinctAggregation支持认证与权限bugfix饥箕掷苛蓉匪劈阀通促扮子疑橡外刺草搞灵提磷哑叙瑶桩挣霉丛便涤朴弱淘宝网投诉卖家》淘宝网投诉卖家》