一种集群存储系统的数据管理方法及系统的制作方法.docx

一种集群存储系统的数据管理方法及系统的制作方法
专利名称：一种集群存储系统的数据管理方法及系统的制作方法
技术领域：
本发明涉及集群存储技术领域，尤其涉及一种集群存储系统的数据管理方法及系统。
背景技术：
云存储和大数据背景下，非集中式元数据模型一样形成性能瓶颈，这就对分布式元数据服务器的设计提出了更高的要求。这种性能开销会抵消一部分采用分布式所带来的性能提升，而且随着元数据服务器数量、文件数量、文件操作、存储系统规模、磁盘数量、文件大小变小、I/o操作随机性等增加而加剧。另外，元数据服务器规模较大时，高并发性元数据访问会导致同步性能开销更加显著。目前，一些分布式文件系统采用高性能网络(如InfiniBand，GibE等)、SSD固态硬盘或SAN磁盘阵列、分布式共享内存(SMP或ccNUMA)等技术进行集群内部的元数据同步和通信。这的确可以明显提高系统性能以抵消同步开销，不过成本方面也徒然增加许多。数据一致性，这是分布式系统必须面对的难题。分布式
元数据服务模型同样面临潜在的系统发生错误的风险，虽然一部分元数据节点发生故障不会致使整个系统宕机，但却可能影响整个系统正常运行或出现访问错误。为了保证高可用性，元数据会被复制到多个节点位置，维护多个副本之间的同步具有很高的风险。如果元数据没有及时同步或者遭受意外破坏，同一个文件的元数据就会出现不一致，从而导致访问文件数据的不一致，直接影响到上层数据应用的正确性。这种风险发生的概率随着系统规模的扩大而大幅增加，因此分布式元数据的同步和并发访问是个巨大的挑战。使用同步方法对元数据进行同步，再结合事务或日志，自然可以解决数据一致性问题，然而这大大降低了系统的并发性，违背了分布式系统的设计初衷。在保证元数据一致性的前提下，尽可能地提高并发性，这就对同步机制和算法设计方面提出了严格要求，复杂性和挑战性不言而喻。分布式元数据服务模型虽然解决了集中式数据服务模型中存在的问题，但同时引入了设计复杂性、性能开销和元数据同步一致性等问题。这些问题直接影响到系统性能和扩展性。
发明内容
本发明的目的在于克服现有技术的缺陷和不足，提供一种集群存储系统的数据管理方法及系统，消除了上述元数据管理的性能瓶颈、单点故障、数据一致性等一系列相关问题。为达到上述目的，本发明是通过以下技术方案来实现的一种集群存储系统的数据管理方法，该方法基于包括客户端和存储服务器集群的系统实现，包括数据存储和访问的操作，所述数据存储的操作包括利用磁盘文件系统存储元数据，数据布局以目录为基本单位进行分布并分配Hash范围，其中，文件的父目录利用扩展属性 记录存储节点的映射关系，子文件在父目录所属存储节点中进行分布；所述方法基于所述数据布局进行数据访问操作，其中，所述数据访问操作包括SI :客户端对数据布局信息进行感知并发出数据访问指令，集成服务器根据客户端的数据访问指令判断查找路径是否为根目录，如是，则执行步骤S2，如否，执行步骤S3 ；S2 :选定特定的活动节点作为目标节点进行数据访问；S3:根据路径输入参数计算Hash值，获取数据布局信息，查找目标节点并进行数据访问。相应地，本发明还公开一种集群存储系统的数据管理系统，所述数据管理系统包括客户端和存储服务器集群，所述客户端包括数据布局管理模块和元数据管理模块，所述存储服务器包括根目录判定模块、