一种基于新型存储的数字图书馆分布式大数据存储架构.pdf

万方数据
一种基于新型存储的数字图书馆分布式大数据存储架构·信息资源开发与利用·陈臣现代情报贾萆萄г盒畔⒅行模仕嗬贾/∞,际楣荽笫莼肪程氐阌胧荽娲⑿枨传统存储系统已不能满足大数据存储、计算、———孚当前,随着读者阅读需求和用户服务保障模式的发展,图书馆数据环境呈现A、多类型煽焖和高价值氐悖际馆已进入大数据时代。大数据时代,数据与劳动力、服务资本和科学技术一起,已成为图书馆服务生产力的重要组成部分。因此,如何有效采集、存储、管理与分析数据,成为关系图书馆科学决策、降低服务成本、保证服务质量和增强读者阅读活动满意度的关键。维基百科将“大数据”定义为无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合【面对复杂、海量、多类型和级数增长的大数据资源,传统数据存储系统的存储效率、容量、可扩展性和设备生命周期使用效率,已不能满足图书馆大数据采集、存储、处理、分析和决策的需求。因此,图书馆只有结合大数据环境特点和读者服务决策需求,以增强读者服务质量障和用户服务能力为目标,才能设计出满足图书馆大数据采集、处理、分析和决策的存储系统。大数据时代,图书馆数据源多样且数据总量海量,数据类型呈现结构化、半结构化及非结构化数据共存的复杂特征,管理类型单一、结构化关系型数据的传统存储系统,无法满足海量、复杂大数据的存储需求。其次,伴随大数据总量的快速递增,传统的存储区域网络耐传输带宽,已成为数据向网络存储节点和计算节点传输的瓶颈,严重影响了大数据网络存储、计算和决策的效率。第三,图书馆大数据服务模式可能会需要对数据进行反复的过滤、融合、价值提取、迁移和计算。因此,要求存储系统能够为大数据应用提供统一或者兼容性强的读写接口,以及高效的数据存储与读取支持。第四,大数据应用要求R猐图书馆数据是一种典型的大数据,大数据管理是目前图书馆面临的一个复杂问题。为了解决传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题,本文提出了一种基于新型存储的数字图书馆大数据分布式存储架构。该存储架构具有良好的可扩展性、容错性和存储性能。丶蔧数字图书馆;分布式;大数据;存储架构,琇;收稿日期:——作者简介:陈臣,男,工程师,硕士,研究方向:大数据、数字图书馆建设。·————.,.,甀琭;籦
万方数据
翕芋喜辇‰大数据存储总量呈现级数递增大数据分析要求存储系统高效、即时和可扩展图书馆大数据存储的可控性与成本问题一】~云存储不能完全满足大数据的存储需求际楣荽笫莘植际酱娲⑾低臣芄沟纳杓朴牍芾图书馆大数据分布式存储系统架构的设计一种基于新型存储的数字图书馆分布式大数据存储架构存储系统采用基于多存储介质的分层存储架构,可为不同数量、热点、读写速度和安全需求的数据提供存取服务。伴随云计算技术的发展与应用,图书馆可通过租赁云服务商服务的方式,为读者提供安全、高效、经济、便捷的云阅读服务。但是,随着大数据环境复杂度和大数据应用需求的增长,云存储已不能完全满足图书馆大数据的存储需求。首先,读者阅读活动的安全性是决定用户阅读愉悦感的关键因素。此外,读者的阅读历史记录、个体位置信息、阅读社会关系和阅读需求等信息,是图书馆发现读者需求、预测阅读服务模式、评估用户阅读活动满意度的重要依据。如果将此类数据存储在由第三方管理的云空间中,可能会由于图书馆丧