云存储方案.docx

蒃云存储系统薈系统概述荿随着视频监控系统规模越来越大,以及高清视频的大规模应用,对视频监控系统中需要存储的数据和应用的复杂程度在不断提高,且视频数据需要长时间持续地保存到存储系统中,并要求随时可以调用,对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中,数据将呈现爆炸性的海量增长,提供对海量数据的快速存储及检索技术,显得尤为重要,存储系统正在成为视频监控技术未来发展的决定性因素。螅面对几百TB,乃至PB级的海量存储需求,传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈,而且可以实现性能与容量的线性扩展,这对于追求高性能、高可用性的企业用户来说是一个新选择。芁云存储是在云计算(puting)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。羀依据云存储的功能特点,海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求,量身设计了一套海康威视视频云存储监控系统。螈海康威视视频云存储系统可以同时应用于视频、图片混合存储,承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计,在系统内部实现了多设备协同工作、性能和资源的虚拟整合,最大限度利用了硬件资源和存储空间。另一方面,通过将云存储的存储功能、管理功能进行打包,通过开放透明的应用接口和简单易用的管理界面,与上层应用平台整合后,为整个安防监控系统提供了高效、可靠的数据存储服务。蒆系统架构莂技术路线聿在视频云存储系统的设计中,采用的核心技术如下:芇采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架,可持续扩容避免瓶颈限制,可以更有效的进行资源管理,灵活增减空间,达到最大程度上合理利用空间的效果。芆采用集群技术,解决单/多节点失效问题,并利用负载均衡技术充分利用各存储节点的性能,提升系统的可靠性和安全性。莃采用离散存储技术,保障了用户高效的读写的同时保证了业务的持续性。蒁采用统一完善的接口,降低对接成本、平台维护成本和用户管理的复杂度。蚇采用开放的集成构架,使其可兼容业界各类iSCSI/FC存储设备,保护用户现有存储投资资源。羇采用数据备份和容灾技术,保证云存储中的数据不丢失,保证云存储服务的安全稳定。膁逻辑架构蕿云存储系统采用分层结构设计,整个系统从逻辑上分为五层,分别为设备层、存储层、管理层、接口层、应用层。肆蒃云存储逻辑架构图节设备层蚈设备层是云存储最基础、最底层的部分,该层由标准的物理设备组成,支持标准的IP-SAN、FC-SAN存储设备。在系统组成中,存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。蒅存储层膃在存储层上部署云存储流数据系统,通过调用云存储流数据系统,实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射,实现数据(视频、图片、附属流)和设备层存储设备之间的通信连接,完成数据的高效的写入、读取和调用等服务。莄管理层肀在管理层,融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发,以及硬件设备的状态监控和故障维护等;实现整个存储系统的虚拟化的统一管理,实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应。腿接口层羄应用接口层是云存储最灵活多变的部分,接口层面向用户应用提供完善以及统一的访问接口,接口类型可分为WebService接口、API接口、Mibs接口,可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。实现和行业专属平台、运维平台的对接;实现和智能分析处理系统之间的对接;实现视频数据的存储、检索、回放、浏览转发等操作;实现关键视频数据的远程容灾;实现设备以及服务的监控和运维等。膁应用层膈从逻辑上划分,除了应用层外,剩下的四层都属于通常云存储的范畴,但是在海康威视视频云存储系统中,为了与视频监控系统的建设和应用更加紧密的结合,更加符合用户的业务需求,将应用层纳入了整个系统架构中,从根本上提高海康威视视频云存储系统的针对性。蚈可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接,实现与云存储系统之间的数据以及信令的交互。蚄行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互,辅助流数据、视频数据、图片数据的存取。膂运维平台采用标准的SNMP协议实现并提供Mibs接口,对