分级存储节能方法.docx

分级存储节能方法
专利名称：分级存储节能方法
技术领域：
本发明涉及一种计算机领域的存储技术，尤其涉及一种分级存储节能方法。
背景技术：
随着数据量的爆炸式增长，存储和处理海量数据的服务器集群越来越普遍。这些服务器集群的能耗问题，中，将40 %的二级存储层和60 %的三级存储层调整为节能模式；当然，在其它实施例中，存储层的多少以及调整成节能模式的比例可任意调节，皆属于本专利保护的
范围。步骤S2:定向存取。选择距离近、存储层次高、正常工作模式的存储层存储和读取文件。步骤S3:寻找热数据。记录文件中各数据块的访问信息，判断迁移时机，当迁移时机到来时，根据所述记录信息，得出每个访问数据块的价值，按照价值从高到低形成队列，本实施例中，集群中的节点被分为3个不同的存储层次，存储层次越高，配置的硬盘访问性能越好，容量就越小，价格也越贵。因此只能由少量的数据存放在存储层次最高的节点上。通常情况下，一个集群中的所有数据中只有少量数据被频繁访问。我们通过记录文件的访问信息，通过信息估值模型处理这些信息，得出一个价值，该价值的越大，代表该数据访问的越是频繁，存储层次就该越高；客户端对文件的读取是以块为单位的，系统把块的每次读取操作都记录下来，记录的内容包括:访问用户、访问时间以及数据块信息等，每读取一次系统就会生成一条记录。在特定时刻，使用信息估值模型处理这些记录，模型的处理对象是块，用到的参数有:访问时间，访问次数，用户数量，块的大小，块与其他块的关联度，块的历史值等，利用公式计算出特定的值，来衡量块的“热”度，并按照价值从高到低形成队列，信息估值模型初步处理后的块值队列，数据迁移算法利用队列过滤模型、路径匹配模型，形成具体的迁移任务，最后利用迁移控制模型完成最终的数据迁移；队列过滤模型通过各存储层次上的阈值，过滤掉无需迁移的数据块。这些阈值记录的是所有下迁数据块的最大值和所有上迁数据块的最小值。过滤后形成的队列中的所有块都已经确定迁移方向，在其它实施例中，在存储自动分级时，所述存储层次至少包括2级，存储层次的划分标准为:存储层次越高，访问性能越好，处理用户请求的响应时间越短。步骤S4:数据块迁移。将价值高的数据块迁移到存储层次高的存储层，将价值低的数据块迁移到存储层次低的存储层，在队列中所有的块都确定了迁移方向后，需要确定迁移的源和目标。迁移源优先选择剩余空间较少，负载轻、正常工作模式的节点，若正常工作模式的节点空间不足，则使用节能模式的节点自动升级为正常工作模式，迁移目标需要有足够的空间来容纳迁移块，优先选择负载轻的节点。同时迁移源与迁移目标的距离要足够的近，队列中所有的块都有了具体的迁移源和迁移目标时，就形成了具体的迁移任务。控制模型使用多线程分批次执行这些迁移任务，如每批次只有50个线程用于迁移，并且每个节点至多有5个线程用于执行迁移任务，使得迁移过程对集群中节点访问性能的影响尽可能小。步骤S5:自适应调整。数据迁移完成后，更新数据块访问信息，重新启动监控，本实施例中，根据迁移的触发条件来及时调整迁移周期。所述更新数据块信息，重新启动监控的步骤具体为:存储数据块的估值结果，以备下一次估值时使用；对于已经被删除的数据块，在系统所保留的访问记录中删除；根据迁移的实际情况进行各存储层次的阈值更新；唤醒监视进程，等待下一次数据迁移的到来。迁移过程中可能有