视频云存储系统设计.doc

视频云存储系统设计视频云存储系统设计系统概述结合目前视频存储系统技术发展的主要方向,本次视频存储系统的建设需要达成以下目标:采用目前技术领先的视频云存储方式,新建视频云存储系统,有效解决海量高清视频图像数据的存储和管理需求,实现分布式存储,虚拟化集中管理。为充分利旧,将原有的视频存储系统改造融入视频云存储系统,实现全县范围内可利用视频资源的统一存储、统一管理、统一调阅,避免重复投资。视频云存储系统提供高速数据接口,为应用平台提供视频数据高效检索、快速调取等服务功能,为公安业务应用提供有力支撑。视频云存储系统提供标准的运维接口,维护便捷,实现高效实用的管理及使用机制。存储技术选择视频监控数据的存储系统历经了多个阶段的发展,传统的视频存储技术主要有DVR存储、IPSAN存储等存储模式。而新兴的视频云存储模式基于云架构开发,采用面向用户业务应用的设计思路,融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术,可将网络中大量各种不同类型的存储设备,通过专业应用软件集合起来协同工作,共同对外提供高性能、高可靠、不间断的视频、图片数据存储和业务访问服务。总的来说,相比于传统的存储模式,云存储模式具有以下优势:视频监控云存储与传统存储对比表项目传统视频监控存储视频监控云存储可管理性单设备独立存储或多设备堆叠存储;管理维护相对麻烦。统一管理,虚拟化集群服务,基于统一的管理平台,对多设备状态、资源、报警、升级、扩展进行集中管控。可靠性RAID技术、部件级冗余系统级+设备级+部件级冗余,RAID技术性能基于设备局部性能优化并发性能提升,智能性能负载,文件系统优化,集群协调工作节能RAID级节能技术设备级+RAID级节能技术服务任务不可分割存储任务和分析任务分割可扩充性设备级配置,过程复杂系统级在线配置、容量/性能扩充方便数据安全备份、容灾N+m设备冗余,远程容灾,关键数据多个副本可用性掌握IP/FC存储技术对用户完全透明成本综合成本高综合成本低,可节省大量录像服务器投入因此,根据项目实际情况,基于视频监控应用对存储系统的要求,着眼于技术的先进性和用户使用的便捷性,视频存储系统的建设推荐采用新型监控云存储技术来实现。存储系统架构视频云存储技术架构视频云存储系统采用分层结构,整个系统从逻辑上分为五层,分别为设备层、存储层、管理层、接口层、应用层。系统技术架构如下:视频云存储技术架构图设备层设备层是云存储最基础、最底层的部分,该层由标准的物理设备组成,支持标准的IP-SAN、FC-SAN存储设备。在系统组成中,存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。存储层将存储设备透明化管理,统一资源虚拟化管理,并设计视频流式文件系统,实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射,实现数据(视频、图片、附属流)和设备层存储设备之间的通信连接,完成数据高效的写入、读取和调用等服务。同时存储层实现视频流数据的块级离散存储,支持数据的高效存储和快速提取(回放、下载、查询);实现图片流数据的存储,支持按车道时间段和http协议提取;实现附属流数据的存储,支持视频流分析的结构化数据存储。管理层在管理层,融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发、以及硬件设备的状态监控和故障维护等。可实现整个存储系统的虚拟化的统一管理,实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应。接口层应用接口层是云存储最灵活多变的部分,面向用户应用提供完善以及统一的访问接口。接口类型可分为WebService接口、API接口、Mibs接口,可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。实现和应用平台、融合平台、运维平台的对接、实现和智能分析处理系统之间的对接,可实现视频数据的存储、检索、回放、浏览转发等操作,实现关键视频数据的远程容灾、实现设备以及服务的监控和运维等。应用层从逻辑上划分,除了应用层外,剩下的四层都属于通常云存储的范畴,但是在云存储系统中,为了将云存储系统与视频监控系统的建设和应用更加紧密的结合,更加符合用户的业务需求,我们将应用层纳入了整个系统架构中,从根本上提高云存储系统的针对性。可将共享平台通过相应的接口与云存储系统对接,实现与云存储系统之间的数据以及信令的交互。共享平台可对云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互,辅助流数据、视频数据、图片数据的存取。视频云存储逻辑架构视频云存储系统采用前端摄像机直写存储设备的方式,使用集群方案解决单节点失效问题,并利用负载均衡技术充分利用各存储节点的性能;采用统一接口与平台对接,降低平台维护和用户管