交通管理大数据研判分析.doc

交通管理大数据研判分析 1、研判平台总体架构公安交通管理研判分析平台总体架构包括数据源、数据仓库、数据集市、数据应用及数据管理5部分。数据源数据源是指由公安交通管理综合平台、交通指挥平台及机动车缉查布控平台等公安交通管理信息系统采集汇总的交通管理大数据。数据仓库数据仓库是为各级交通管理决策制定过程提供支持的所有类型数据的战略集合,是在整合多个交通管理数据源的基础上形成的单个数据存储,出于分析性报告和决策支持目的而创建。数据仓库包括明细层和轻度汇总层两个层面。其中,明细层基于数据源、采用镜像复制和增量同步技术建立;轻度汇总层在明细层基础上,参照研判分析实际需求,对数据进行抽取、转换、清洗后建立。数据集市数据集市是根据不同专业用户群体在分析、内容、表现及易用性等方面的特殊需求,从数据仓库历史数据中抽取的一个针对性数据子集,用以满足特定部门、团队、客户或应用程序分析和报告需求。数据应用在数据仓库或数据集市基础上,采用聚类、关联分析、时序分析、分类、值预测等挖掘技术,有效提取交通管理大数据中固有的、以前未知的潜在有效信息,并进行多维度、个性化集成、查询和展现。数据管理对数据处理流程、数据质量检查及元数据进行有效管理,确保数据研判分析工作顺利开展。 2、数据流向及处理丰富、内容完整、及时准确的信息资源是有效开展分析研判的必要基础。因此,分析研判系统建设的首要任务是收集汇总信息应用所需的各类数据,通过数据整合处理形成分析研判分析数据库。数据流向公安内部综合应用平台所采集形成、开展信息工作所需的业务信息,包括各级公安机关交通管理部门采集形成的数据,如驾驶人管理、机动车登记、违法处理、事故处理、交警队信息平台、危险化学品运输管理等业务信息和异常业务预警信息。缉查布控系统产生车辆通行信息及主干公路监控数据在部级平台中直接获取;气象信息等跨行业数据通过互联网服务接口获取,并通过边界接入平台或人工方式转入公安网。(1)综合应用平台、主干公路监控数据通过数据采集器按分类写入数据仓库与分布式文件系统。(2)气象信息通过程序调用数据访问接口写入数据仓库。(3)分布式文件系统通过批处理的形式,将数据清洗转换后写入数据仓库。(4)数据仓库采用实时复制技术,按方案将数据复制至内存数据库。(5)内存数据库为coGNoS、SPSS分析平台提供分析数据。(6)内存数据库、分布式文件系统同时为数据检索分析平台提供数据。数据整合处理流程数据整合处理时以ETL工具为核心,包括数据抽取、过滤清洗、转换、整合加工等功能的数据提取处理工具,主要用于按照预先设计的数据抽取整合处理方案,执行从各种数据上提取新鲜数据、比对数据进行清洗、转换、传输、整合加工,并装载数据到目标数据库、记录问题数据、记录处理日志等一系列数据加工处理工作过程。数据整合处理过程应具有较好的可监控、可维护能力,可支持处理任务的安排调度管理,并可接受信息资源管理应用的运行监测。业务信息综合分析研判系统建设中,数据整合处理主要用于将各种数据经抽取整合处理进入信息综合数据库群,并可用于根据专题应用建设需求,将分析数据库中已有的相关数据进行抽取整合处理,形成数据集市数据。数据整合处理所执行的数据抽取整合处理方案应根据应用的需求,利用信息资源管理应用上的信息资源注册信息、标准信息、结合相关数据的特点及有关信息化标准规范进行定制设计。分析数据库建设中用于实现数据抽取整合工作的工具主要需要负责从源业务数据库提取新鲜数据、对数据进行清洗、转换、数据传输、数据装载、问题数据记录、转换日志记录,错误处理与异常日志记录等工作。(1)数据抽取和标准代码库创建:产生的数据是转储数据和标准代码库。(2)数据清洗:对转储的业务数据,根据定义的数据清洗规则进行清洗。产生的数据是问题数据库。(3)数据转换:定义好数据转换的规则,对经过第一步清洗的数据,进行转换。产生的数据是经过转换的数据。(4)数据集成:对转换完成的数据去查找关联,同时把数据按照要素和层次进行组织。(5)数据装载:把完成前面步骤的数据装载到分析数据库中。(6)数据校验:对完成整合的综合数据通过校验器定义好校验规则进行数据校验,找出第二批的问题数据,使得数据的质量进一步提高。 3、关键技术研判平台总体功能包括数据处理、数据管理、统计研判、挖掘研判、多维度展现、应用管理、安全管理等功能,其中数据处理、数据管理、多维度展现作为基础性工作显得尤为重要,这关系到平台建设的可行性及可用性。数据处理包括数据镜像复制、数据抽取/清洗/加载、数据建模等功能。(1)数据镜像复制通过全库镜像及增量数据同步,将各数据源数据加载至数据仓库明细层。(2)据抽取/清洗/转换/加载将分布、异构的多个交通管理数据源中的数据抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、