大数据平台解决方案.docx

.实用文档.
大数据平台技术方案
大数据平台技术方案 3
技术路线 3
动静态信息交换 4
系统概述 4
数据采集效劳 5
数据采集效劳配置 5
平台认证效劳 5
动静态数据发布订阅效劳 6
负载均衡效劳 6
协议分析象包括省市级 管理机构等。数据交换平台包含一系列的效劳，如：数据采集效劳、平台认证效 劳、发布订阅效劳等。
数据采集效劳
数据采集效劳采集各级行业管理部门、各行业业务系统的数据信息，对这些 静动态数据进行收集，用以进行后续操作。
数据采集模块按照定义的接口标准进行连接、响应、接收、发送处理。接收
各级行业管理部门报送的数据。
数据采集效劳配置
针对上报大数据管理平台的信息，灵活配置其可采集的效劳种类，来源， IP
地址，采集的数据类型以及效劳方式，使数据的采集更加灵活可控。
数据采集效劳配置模块的主要功能有：
(1)动态配置效劳。根据IP、数据类型和效劳方式对效劳进行动态配置。
(2)对接入数据进行验证。不允许非配置内的效劳接入数据，允许配置内的效 劳接入数据。
平台认证效劳
为了保障数据效劳的平安性，在传输数据之前，需要先通过接口进行登录认
证，从而确定数据交换平台及权限，以及平台接入的有效期。
平台认证模块主要功能有：
根据平台信息进行登录认证。根据申请接入的其他平台或者系统的相关信息， 对该平台或者系统进行身份验证。
根据认证结果获取登录权限和有效期等信息。如果验证通过，那么允许接入
系统，如果验证不通过，那么不允许接入
.实用文档.
动静态数据发布订阅效劳
发布订阅效劳根据分发调度策略，判断采集动静态数据属于某个地市，发布 到该地市的主题，存储到消息队列，记录日志。
动静态数据发布订阅模块的主要功能有：
(1)获取信息，将数据存储到消息队列。根据接入数据的相关信息，获取对应 的信息。
(2)记录日志信息。将信息下发到相应的消息队列，并记录日志信息。
负载均衡效劳
根据数据采集效劳和分发效劳进行负载分析与数据的多路径流向调整，用以
减小平台压力，提高平台的运行效率。
负载均衡模块的主要功能是根据采集效劳和分发效劳进行负载均衡处理。
协议分析转换功能
按协议标准对上报数据进行解析，对分发的数据进行封装，实现与其他平台 的数据准确对接。
协议分析转换模块的主要功能有：
(1)按协议标准对上报数据进行解析。对接入的数据，按照预先指定的协议进 行解析，方便在系统中的处理和流通。
(2)对分发的数据进行封装。对于系统处理过的数据，要根据预先指定的协议， 将数据进行打包封装，然后下发到其他平台或者系统。
动静态数据分发效劳
根据各级数据请求，按照定义的接口标准进行连接、 响应、按主题分发处理。 分发各类动静态信息。
(1)按照定义的接口标准进行连接响应。
.实用文档.
(2)对数据按照主题进行分发。根据接入数据的相关信息，从而获取相关的数 据需求方信息，并且获取相应的主题信息，并将数据按照主题下发到相应的平台。
数据分发效劳配置
针对分发平台的信息，灵活配置分发的效劳种类，分发的数据类型以及效劳
方式，实现分发的灵活可控性。
数据分发效劳配置模块的主要功能有：
(1)获取将要分发的平台的信息。根据系统中提供的其他平台的相关数据， 获
取将要分发的平台的相关信息，方便后续数据的分发。
(2)根据平台的信息配置要进行分发的效劳。 根据已经获取的相关的平台的数 据，对平台的效劳信息进行配置。
数据缓存效劳
数据缓存效劳主要提供本工程动态信息内存缓存、持久化存储当前点以及缓
存预处理的数据，向数据应用提供快速访问中间数据源。
数据缓存模块的主要功能是进行数据缓存，如内存缓存、持久化存储当前点 以及缓存预处理网格信息等数据。
数据交换信息日志
记录数据采集以及分发的数据量，为验证数据交换的完整性、可追溯性以及
可视性打下根底。
数据交换信息日志模块的主要功能有：
(1)记录数据采集获取的数据量。在进行数据交互时，记录接入的数据的数据 量信息。
(2)记录数据分发的数据量。在进行数据的交互时，记录分发的数据的数据量 信息。
.实用文档.
大数据存储
根据业务类型，数据划分为根底信息数据库、主题数据库、业务数据库三大 数据库。其中根底数据库存储行业的静态数据以实现与实时数据的快速拟合；主 题数据库各类主题数据；业务库存储实时的业务数据。根据数据的使用时效分为 在线存储、离线存储。
数据仓库工具
随着大数据平台不断的接入海量数据，大数据平台引入数据仓库技术来解决 各类业务问题。数据仓库是一个抽象的概念所以可以简单的理解为不同粒度的数 据层，比方：数据缓冲层（存放当日增量数据卜数据明细层（存放最全的