电力大数据高速存储及检索关键技术研究.docx

电力大数据高速存储及检索关键技术研究
摘要:本文首先对当前电网典型业务系统大数据架构进行简单分析,重点研究而电力大数据高速存储及检索特征和关键技术,了解电力大数据的重点技术,在此基础上深入研究即时处理技术对于大数据典型应用的有效性,希望通过本文的研究能够更加全面的掌握关于电网业务系统大数据框架结构的基本情况,了解在电力大数据系统中应用的各种先进技术及主要特点,同时也为后期更好的研究即使处理技术及电力大数据提供参考。
关键词:电力大数据;高速存储;检索
中图分类号:TM769 文献标识码:A 文章编号:1671-206403-0038-02
1 引言
近年来随着我国电力行业的不断发展,电力系统规模不断扩大,电力企业在运行中产生的数据发生较大的变化,数量越来越多、种类愈加复杂、来源更加多样化,在系统运行访问中容易出现响应不及时的情况,对电力企业的生产、运营管理等各环节的业务都产生较大的影响。而且随着大数据时代的到来,更好的应用电力企业产生的各种数据对于企业的发展具有重要的意义。因此在现阶段加强对于电力大数据及其高速存储、检索等关键技术的研究具有重要的现实意义,能够更加深入的分析研究大数据,发挥大数据的价值,全面掌握电网运行中各种典型业务系统的数据架构,更好的发挥高速存储、检索、即使处理等各种先进技术的作用,解决大数据系统建设存在的问题,也为电力大数据技术的应用提供指导和支撑。
2 电网典型业务系统大数据架构分析
随着电网技术的不断升级,大数据已经成为电力企业发展中的重要特征,数据的应用对企业发展的应用的也愈加深刻。在电网运行中的典型业务就是电力系统用电信息的采集,该系统中存在诸多用户,基数比较大,而且每天都会产生大量的数据,在业务系统运行中,数据的统计分析容易出现响应缓慢的情况,用户在使用系统时需要等待较长的时间。电力大数据一方面能够拓宽电力行业的深度,对供给侧、需求侧进行整合;另一方面也打破便捷,挑战垄断地位。针对这种业务系统,首先要对用电信息采集业务系统中使用的数据存储、数据检索以及信息流计算等各种技术的架构进行全面的分析,其次要对各种不同数据使用的存储检索技术的性能及架构进行分析总结,包括非结构化数据和结构化数据;在此基础上,深入研究电网运行中各种典型业务系统对即时信息流的处理技术的需求及应用现状。应用电力大数据,能全面掌握电力企业乃至整个行业的发展状况,预测未来的发展趋势,调整企业的发展规划,比如并网电价等,促进电力企业的发展[1]。
3 电力大数据高速存储及检索特征和关键技术
电力大数据高速存储及关键技术
大数据高速存储系统体系结构的研究主要几方面的问题;基于Hadoop分布式存储系统的副本管理机制,重点研究在元�稻莘�务器出现异常情况时需要使用的副本替换和重定向算法,从而避免受单一故障影响出现整个文件系统瘫痪的情况;研究基于Hadoop分布式文件系统的备份恢复机制和动态扩展机制,重点研究如何对原有SAN网络等设备文件系统与分布式文件系统进行兼容,以及如何快速对分布式文件系统中的文件进行恢复同时进行增量式备份。
面向电力大数据的存储系统自配置自优化技术。基于Hadoop分布式文件系统的存储系统性能会受配置参数的影响产生较大的波动,而且系统的配置也比较灵活,各种应用数据也比较丰富,因此需要深入研究在大数