异构大数据存储方法的研究.pdf

学位论文版权使用授权书 IIII Y2602956 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索, 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。(保密的学位论文在解密后适用本授权说明) 学位论文作者签名:单旭导师签名:刁机蔹签字日期:五桦年午月忤日签字目期:加,(,年汐月修日中图分类号:TP392 UDC: 学校代码:10004 密级:公开北京交通大学硕士学位论文异构大数据存储方法研究 The Research ontheMethod ofHeterogeneous Big Data Storage 作者姓名:单旭导师姓名:王根英学号:1 1120075 职称:副教授学位类别:工学学位级别:硕士学科专业:通信与信息系统研究方向:计算机网络与信息系统北京交通大学 2014年3月致谢时光荏苒,硕士阶段的生活即将结束,两年多的学习生活使我受益匪浅。在论文完成之际,向所有关心和帮助我的老师、同学表示由衷的感谢。首先,感谢我的导师王根英副教授。王老师不仅使我树立了远大的理想,掌握了基本的科研方法,更教会我很多做人做事的道理,为我的人生发展奠定了良好的基础。值此论文工作完成之际,特向两年多来关心和指导我的恩师王根英老师表示最诚挚的谢意,衷心地感谢两年多来王老师对我的关心和帮助。其次,感谢刘云教授,张振江副教授以及沈波副教授,他们在生活上和学习上都给予了我很大的帮助,对我的科研工作也提出了许多宝贵的意见,他们渊博的知识和广阔的研究思路使我受益终身。此外,还要感谢刘桐欢、陈永波、付冶等同学和朋友。他们对我论文中的研究工作提出了很多宝贵意见并给予热情帮助。最后,感谢参与论文评审和答辩的各位专家、老师。他们在我学业的最后阶段里,对我的研究成果予以严格把关,让我可以更好的把握今后的发展方向。 jE立交适太堂亟± 堂僮诠室虫塞撞要中文摘要摘要:,数据量呈爆炸式增长,数据存储亦面临巨大挑战。在当前的大数据环境下,传统关系数据库由于自身特性的限制,难以很好地满足数据存储提出的新的需求。因此,有必要对异构大数据环境下的数据存储方法进行研究,寻找满足特定需求的通用的数据存储方案,为大数据存储问题的解决提供参考和借鉴,具有重要的理论意义和实践价值。大数据的存储方案是由要实现的功能所决定,对于不同的需求,采用不同的存储模式。——馓博系统进行研究,符合大数据环境下海量数据、实时性强、大量读写操作、高并发的特征,具有较为通用的意义, 主要的研究内容包括以下几个方面: 首先,针对大数据的产生及所带来的挑战,从技术的角度论述了非关系数据库的发展历程。从总体上对关系数据库和非关系数据库的特点进行了对比,详细分析了关系数据库的优缺点及在大数据环境下遇到的瓶颈,深入研究了非关系数据库的架构、理论、特征及存储模型,阐述了其相比于关系数据库所存在的优势。然后,从功能上和性能上对微博系统具体的存储要求进行了深入分析,采用非关系数据库中三种具有不同存储模型的数据库,包括Redis、HBase和MongoDB, 结合各自的特点来研究微博系统相关存储功能的实现,提出了适合微博系统的数据存储方案,设计了数据存储结构,可以满足对实时性、扩展性、可靠性和并发性的要求。同时使用关系数据库进行设计,通过对比,从理论上证明了非关系数据库研究的合理性。最后,针对微博系统设计的存储结构,选取典型的测试场景,使用不同数据库平台,进行了一系列的验证测试。通过对测试结果的分析与比较,可以证明本文设计的数据存储方案是有效的,能够满足微博系统的存储需求,并为异构大数据环境下具有类似需求的数据存储问题提供解决思路。关键词:异构大数据;存储方法;关系数据库;非关系数据库;微博系统; 分类号:TP392 j匕立交逗厶堂亟±堂僮途塞△旦S!&△_.￡』 AB STRACT ABSTRACT:With the development of technology,the data present explosive growth trend,and the data storage technology isfaced with enormous the current big dataenvironment,the traditionalrelationaldatabaseCan’t meet the new demands of data storage well,just due to thelimitation of its charact