浅谈公路信息化中的存储系统规划.doc

浅谈公路信息化中的存储系统规划
摘要:以高速公路收费系统为主体的信息化系统每天制造着大量的数据,有了充足的数据资源,面临的一个关键问题就是如何对海量数据进行存储与管理。本文提出了一种适用于计算机联网处理海量数据存储与管理的策略,并着重对该系统的基本构成、物料设计与逻辑设计进行了描述。
关键词:公路收费海量数据数据存储与数据管理
一、概况
在信息技术日新月异的今天,信息化工程建设已经深入到各行各业,许多发达国家的公路部门,办公自动化省、市、县三级已实现联网办公;也陆续上马了养护管理系路政管理系统、养路费征稽管理系统、通行费收费管理系统、财务管理系统等。而高速公路收费系统事实上成为公路信息化的中枢,一般包括若干个子系统,如车道系统、TV系统、车辆检测系统,栏杆机控制系统、网络系统、照明系统、控制信号系统、供电系统等。这些系统每天制造着大量的数据,堪称海量,诱发着一个关键问题就是如何对海量数据进行存储和管理。
公路数据库中所采集和处理的数据量十分巨大,例如,一个信息中心的相关数据就达数百GB,而这仅仅是计算机联网系统所要采集和处理的一个部门的数据,如果加上路政、财务、大型工程建设等其他部门的数据,每年的处理数据量将以TB为单位进行计算。
对于高速公路收费系统中的海量数据,除了数据量大以外,其特点就是在数据相关性上不仅具有横向相关度,而且也具有纵向相关度。针对这种特点,本文提出并实现了一种计算机联网处理海量数据库存储系统,该系统采用了集群系统和SAN系统相结合的方式,先对横向无关的数据作了合理的分区,再对纵向相关的数据作了关联,使纵向相关的数据能够并行执行事务,从而在提高系统存储容量的同时,也提高了系统的查询速度。
二、存储系统规划
在海量数据的存储和管理方面,集群系统得到了广泛应用。根据海量数据存储和管理中处理器访问内存和磁盘方式的不同,可以将集群系统分为三种类型:共享内存式、共享硬盘式、非共享式。其中非共享式结构是支持并行数据库系统的最好结构,到目前为止,在非共享式系统上能够实现性能最优、吞吐量最大的并行数据库已经成为业界的共识。但由于共享内存式服务器在硬件上比较容易实现,因而在实际系统中集群系统一般采用共享内存式和非共享式结构相结合的方式,即非共享式结构的集群中各个结点是共享内存式结构的服务器,一般有两个以上的CPU。
为实现海量数据存储,还必须为集群系统提供足够的存储空间,一般的做法有两种:(1)在集群结点上挂接大容量本地硬盘。(2)使用SAN系统提供的海量存储空间。如果采用传统的挂接大容量本地硬盘的方式,尽管结果简单,但管理繁琐,且不易扩充;而SAN系统则有管理方便、扩充容易、能够实现透明逻辑等优点。
考虑到SAN存储系统具有很好的数据共享性,可扩展性和可靠性,故而推荐公路信息化采用SAN存储系统作为海量数据存储结构。集群计算机结点通过光纤通道卡直接连接到光纤存储网络上,确保了存储数据能够高速进行I/O。SAN存储系统将采用双控制器,有效提高存储系统的可靠性和数据的高可用性,通过预留出数据备份系统接口,安装分区模块系统和存储管理系统。同时,各集群结点共享磁盘阵列中存储的数据,结点本局负载动态地进行调整。
三、存储策略
:
在公路数据库系统中,由于采用非共享式结构,因而需要将SAN