气象大数据结构化存储和查询优化指导老师: 专业:计算机科学与技术姓名: 2目录研究问题综述研究内容关键技术技术路线 1234 2 31 研究问题综述★待解决的问题如何有效存放海量气象结构化数据如何高效的查询气象结构化数据? 3 4 ?结构化数据行数据、可用二维表表示?HBase 优化策略通过索引提高查询速度 1 研究问题综述★研究背景 4 研究意义: 提出稳定高效的存储与检索优化方案,并且优化了大规模数据下的查询操作, 为整个气象云平台架构服务。 51 研究问题综述★存在的不足 6 ?HBase 级别主键是唯一索引,具体列没有二级索引 62 研究内容 7 ?表关系映射、表结构设计 Hbase 的云平台中实现索引模型?HBase 架构、实验 73 关键技术?协处理器技术构建和维护索引。 8 8 idx 1 Client Master ②将条件传给每个节点,建立 Scan 并行查询索引表。⑤返回查询结果③根据索引表的信息随机查找主表 RegionServer Regions 3 关键技术① condition= “ cond1 ”★预期 HBase 中索引查询过程 10 RegionServer reg 1 reg 2 idx 2 reg n idx n…④汇总查询结果94 技术路线协处理器原理 HBase 存储原理确定索引架构 HDFS 原理改进后的 HBase 在云平台上进行验证测试 11 10未建立辅助索引
气象大数据存储和查询优化 来自淘豆网m.daumloan.com转载请标明出处.
