科达视频监控云存储系统01改变从云存储开始02云存储技术介绍03安防云存储系统04科达云存储产品介绍海量数据存储需求数以万计的监控点,存储容量已经达到PB级别智能分析抽离出的图片、文字、摘要视频等,数据种类多种多样。白色小型车沪FW6461逆行闯红灯红色上衣红色小型车人员聚集告警人脸抓拍图片黄色衬衫行车轨迹北纬31°.3′东经120°.6′除视频监控数据外,各类应用系统的数据也需进行融合移动警务图像资源信息库车牌信息数据库移动警务人员信息数据库移动警务600卡口点一年过车记录(每天8000辆):20亿条10000路30天的高清视频录像(4Mpbs):13PB问题和解决之道Q海量数据存储空间和设备,如何做到统一调度和管理A分布式文件系统,存储虚拟化统一管理,提供标准接口访问方式;系统扩容过程业务不感知,轻易扩容到百PB级;Q存储设备数量庞大,如何及时修复故障,降低维护成本A系统具备自愈能力,由即时维护转变为定期维护,维护周期由天转变为月;Q日益增长的随机并发访问,设备性能逐渐成为系统瓶颈A分布式系统集群化的特性,访问数据采用多设备并行读写,突破单台设备瓶颈;Q如何解决不同应用系统间数据难以统一存储和融合的问题A共享式存储系统;提供多种标准的访问接口(如NFS,FTP,S3),可以和Hadoop,Openstack等开源大数据系统无缝对接;02云存储技术介绍01改变从云存储开始03安防云存储系统04科达云存储产品介绍系统基本原理非对称式系统架构,由客户端,控制节点和存储节点构成文件块分配原则尽量分散(节点分散,硬盘分散),这样能加强并行处理能力和安全容灾能力系统运行原理云存储客户端(业务系统)向控制节点申请资源控制节点向客户端返回分配资源客户端将数据块D1,D2,D3,D4投递到分配好的数据节点数据条带化,切片分布式存储;高性能的并发读写能力,系统级数据恢复技术采用纠删码技术(ErasureCode);纠删码技术空间利用率更高,数据可靠性更高N(7)+M(1)%%某数据节点故障业务不受影响,数据能正常访问节点上的数据不能访问硬盘重构时间(4T)1小时以内10小时以上云存储数据分发D1D2D3P1D4D5D6P2D1D2D3P1D4D5D6P2客户端对数据进行N+M条带化P1=D1⊕D2⊕D3将数据块Dn和Pn投递到存储节点中03安防云存储系统01改变从云存储开始02云存储技术介绍04科达云存储产品介绍定义安防云存储极高可靠性。安防应用的特征是抓取式,数据可存储的重要性高于任何其他特性;极高的性能。云存储是数据挖掘的数据载体,只有具备极高的性能,才能发挥出价值;开放性。云存储系统能方便和不同的应用系统相融合,提供开放的文件级接口;与安防业务相结合,优化系统整体架构;为每台设备配置BBU电池,当节点发生突然断电或发生异常,BBU电池模块仍然支撑系统工作,将数据转存到SSD硬盘(设备内置),同时通知平台及控制节点,将码流调度到其他节点中去。控制节点集群,控制节点采用先进的PAOXS算法,支持可最多5节点集群。极高可靠性PAOXS算法集群传统HA集群集群数量一般配置3节点集群或5节点集群一般双机集群故障容忍3节点集群:最多损坏2台5节点集群:最多损坏3台最多损坏1台出现故障时切换时间秒级切换分钟级
科达视频监控云存储平台交流 来自淘豆网m.daumloan.com转载请标明出处.
