交通管理大数据研判分析.doc

交通管理大数据研判分析.doc交通管理大数据研判分析1、研判平台总体架构公安交通管理研判分析平台总体架构包括数据源、数据仓库、数据集市、数据应用及数据管理5部分。数据源数据源是指由公安交通管理综合平台、交通指挥平台及机动车缉查布控平台等公安交通管理信息系统采集汇总的交通管理大数据。数据仓库数据仓库是为各级交通管理决策制肚过程提供支持的所有类型数据的战略集合,是在整合多个交通管理数据源的基础上形成的单个数据存储,出于分析性报告和决策支持目的而创建。数据仓库包括明细层和轻度汇总层两个层面。其中,明细层基于数据源、采用镜像复制和增量同步技术建立;轻度汇总层在明细层基础上,参照研判分析实际需求,对数据进行抽取、转换、清洗后建立。数据集市数据集市是根据不同专业用户群体在分析、内容、表现及易用性等方面的特殊需求,从数据仓库历史数据中抽取的一个针对性数据子集,用以满足特泄部门、团队、客户或应用程序分析和报告需求。数据应用在数据仓库或数据集市基础上,采用聚类、关联分析、时序分析、分类、值预测等挖掘技术,有效提取交通管理大数据中固有的、以前未知的潜在有效信息,并进行多维度、个性化集成、杳询和展现。数据管理对数据处理流程、数据质量检查及元数据进行有效管理,确保数据研判分析工作顺利开展。2、数据流向及处理丰富、内容完整、及吋准确的信息资源是有效开展分析研判的必要基础。因此,分析研判系统建设的首要任务是收集汇总信息应用所需的各类数据,通过数据整合处理形成分析研判分析数据库。数据流向公安内部综合应用平台所采集形成、开展信息工作所需的业务信息,包括各级公安机关交通管理部门釆集形成的数据,如驾驶人管理、机动车登记、违法处理、事故处理、交警队信息平台、危险化学品运输管理等业务信息和异常业务预警信息。缉查布控系统产牛车辆通行信息及主干公路监控数据在部级平台屮直接获取;气象信息等跨行业数据通过互联网服务接口获取,并通过边界接入平台或人工方式转入公安网。(1)综合应用平台、主干公路监控数据通过数据采集器按分类写入数据仓库与分布式文件系统。(2) 气象信息通过程序调用数据访问接口写入数据仓库。(3) 分布式文件系统通过批处理的形式,将数据清洗转换后写入数据仓库。(4) 数据仓库采用实时复制技术,按方案将数据复制至内存数据库。(5) 内存数据库为coGNoS、SPSS分析平台提供分析数据。(6) 内存数据库、分布式文件系统同时为数据检索分析平台提供数据。数据整合处理流程数据整合处理时以ETL工具为核心,包括数据抽取、过滤清洗、转换、整合加工等功能的数据提取处理工具,主要用于按照预先设计的数据抽取整合处理方案,执行从各种数据上提取新鲜数据、比对数据进行清洗、转换、传输、整合加工,并装载数据到目标数据库、记录问题数据、记录处理日志等一系列数据加工处理工作过程。数据整合处理过程应具有较好的可监控、可维护能力,可支持处理任务的安排调度管理,并可接受信息资源管理应用的运行监测。业务信息综合分析研判系统建设中,数据整合处理主要用于将各种数据经抽取整合处理进入信息综合数据库群,并可用于根据专题应用建设需求,将分析数据库中己有的相关数据进行抽取整合处理,形成数据集市数据。数据整合处理所执行的数据抽取整合处理方案应根据应用的需求,利用信息资源管理应用上的信息资源注册信息、标准信息、结合相关数据的特点及有关信息化标准规范进行是制设计。分析数