大数据存储技术mongodb在支撑系统数据分级存储中的实践.doc.doc

1 成果上报申请书成果名称大数据存储技术 mongodb 在支撑系统数据分级存储中的实践成果申报单位中国移动通信集团北京有限公司成果承担部门/ 分公司信息系统部项目负责人姓名崔希宁项目负责人联系电话和 Email ********** cuixining@ 项目参与人姓名杨海威、王江、张雨晴、宋哲、常莎成果专业类别*业务支撑所属专业部门* 业务支撑线条成果研究类别*现有业务优化省内评审结果* (按填写说明 4) 关键词索引( 3~5个) 大数据海量查询非结构型数据库数据生命周期管理应用投资万元(指别的省引入应用大致需要的投资金额) 产品版权归属单位北京移动对企业现有标准规范的符合度: (按填写说明 5) 符合 规范如果该成果来源于研发项目, 请填写研发项目的年度、名称和类型( 类型包括: 集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目), 可填写多个: 省公司重点项目 专利情况: 如果该成果产出相关专利, 且专利处于国知局专利申请审查阶段或已授权, 请说明专利名称、类型、申请号、状态、是否海外申请等情况。(按填写说明 7) 成果简介: 简要描述成果目的和意义,解决的问题,取得的社会和经济效益。随着云技术的逐渐推广,基于云技术的大数据海量信息存储也应用得越来越广泛。本研究基于开源数据库技术, 研究实施大数据的处理方法策略,并在数据信息生命周期管理中落地实施。在通常意义上,大数据(big data) ,或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、存储、管理、处理、并整理成为帮助企业经营决策更积极目的的信息或运营支撑。大的数据需要特殊的技术,以有效地在容忍时间内完成处理。适用于大数据的技术,包括大规模并行处理( MPP )数据库,数据挖掘,分布式文件系统,分布式数据库,云计算平台,和可扩展的存储系统。核心是数据分片存储,分布移动计算。在北京移动数据分级存储 ILM 系统三期建设中,我们在非结构化数据库技术 NoSQ L 的应用方面进行了相关的探索和尝试,并成功运用到统一历史数据归档查询中心平台建设中,为数据中心数据分级存储系统(生命周期)的数据存储及分析查询开辟了一种新 2 的方式。解决数据处理对传统 oracle 数据库技术的依赖,极大降低企业成本提高企业的创新能力。省内试运行效果:描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。随着北京移动数据分级存储系统三期,即ILM 三期系统的上线,统一历史数据归档查询中心中的数据已经涵盖老的 BOSS3 、Siebel CRM 以及新的 NGCRM 、NGBOSS 、营销管理平台等系统的历史数据。其中既包含基于常见的关系数据库 Oracle 数据的直接归档的数据,还包含基于非结构化数据存储的非结构化数据,以及通过转换后的软件和存储成本更低的半结构化数据。在采用 MongoDB 数据库后,统一归档查询中心对于基于文本的非结构化以及半结构化归档历史数据的查询性能得到大幅提升。尝试解决了不适合在 BI也不适合在 CRM 构架下处理的数据关联分析的需求。应对不断增加的大数据即时分析业务问题。同时,本结构支持云平台技术,能够达到开源节流提高企业在移动互联环境核心竞争力。新的系统完全在刀片环境,开源环境实现,极大降低软硬件建设维护成本。文章主体( 3000 字以上, 可附在表格后): 根据成果研究类别, 主体内容的要求有差异, 具体要求见表格后的“填写说明 6”。 (数据生命周期系统)出现的问题随着公司在业务运营过程中产生的数据步入 PB级,电信运营企业“大数据”时代渐渐来临。一方面随着业务产生的历史数据的爆炸性增长,对于历史海量数据的管理和检索带来了巨大挑战;另一方面,在企业活动产生的数据中 20% 的是结构化的,而80% 则是非结构化或半结构化的,原有关系型数据库也面临诸多瓶颈。与业务信息系统中大量用于交易记录和统计分析等的结构化数据相比,非结构化数据具有某种特定和持续的价值,这种价值在共享、查询、分析等使用过程中得以产生和放大,并最终对企业业务和战略产生影响。在管理方式上,相对于存储在关系型数据库里,用二维逻辑表来表现的结构化数据而言,那些不方便用数据库二维逻辑表来表现的数据就是所谓的非结构化数据,包括报表、账单、影像、办公文档、扫描文件、Web 页面、电子邮件以及多媒体音频和视频信息等。因此在管理这些非结构化数据时,原来主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显,面对这些种挑战,大数据处理技术、非结构化 3 数据库技术的引入就变得日益迫切。 ,大数据(big data) ,或称巨量资料,指的是所涉及的资