数据适配器技术白皮书.docx

目录
简介 4
体系结构 6
系统组成 8
数据适配器种类 8
简单适配器 9
复杂适配器 9
。利用数据适配 器灵活通用的数据收集管理功能，并透过《信息系统名称》使用户能够方便地、 随时随地地挖掘、提取、转换和管理数据。
同时，为了更进一步进行数据集成，充分释放《单位名称》数据的价值，降 低用户在系统开发方面的投资，缩短系统开发周期和提升产品质量，数据适配器 提供了多种类型的应用程序接口，允许用户利用外部的工作流对数据适配器进行 二次开发。包括：扩展处理接口、消息通知接口、协作接口和数据网关，方便用 户灵活开发更加个性化的数据收集管理系统和与其他系统进行集成

数据适配器以处理引擎为处理核心，处理引擎内置的服务包括：数据收集、 数据清洗、数据填充、数据格式翻译等基本的数据处理功能。如用户需要对数据 进行个性化的处理，如：扩展处理适配器不支持的文件格式翻译、数据需经外部 系统处理等，可通过扩展处理接口实现扩展的个性化处理。
业务流程由业务规则驱动，对业务流程的大部分修改都是对业务规则的修改 （相对于针对技术进行的修改）。但是，由于在传统的应用程序中，业务规则包 含在一些不透明的程序代码中，在不影响正在运行的业务流程的前提下，无法轻 松地访问或修改它们。将业务规则从程序代码或者任何流程实现机制中抽离出来
可以极大改善业务流程的管理。数据适配器内置的工作流引擎提供了可视化的图 形设计界面，方便用户根据自身的业务规则定义数据处理流程。内置工作流引擎 负责管理步骤，应用业务逻辑，以及调用复杂流程和（或）事务集合的支持程序。
此外，处理引擎还包含了与其他节点或系统协作进行数据收集的结点管理。 通过结点管理对逻辑上分布的各个节点进行集中化管理。上级结点既可通过调度 下级结点进行数据收集，也可由上级结点向下级结点广播数据。
数据处理引擎
•扩展处网接口
数据收
数据填
充
格译 据翻 数式
口-^|';'理
内置H作流引擎
图2数据处理引擎功能模块图
数据适配器提供有供最终用户使用的图形用户界面，完成引擎的配置、处理 的监控管理、数据查询打印等任务；为了适应复杂多变的数据处理方式，我们采 用了插件式的设计，用户个性化的处理（如：支持更多的数据格式、个性化的数 据转换处理）可利用数据适配器提供的扩展处理接口进行扩展。
数抓适配器
处理引擎
SMS o—
桌|山逋知o—
消恳通知网 关
QQ側弘 0—
］；m^il 0
图3数据适配器与消息通知网关的关系
在消息通知方面灵活多样，用户可利用统一的消息通知接口，轻松简单地发
出各种消息，包括：故障通知、数据异常通知、数据处理通知和用户自定义信息。
系统组成
配置工具：允许系统管理员通过配置管理界面对处理引擎的执行动作进行配 置和管理。
处理引擎：采用多任务处理方式，由不同的进程来提供不同的服务，如数据 收集进程、数据清洗进程、数据格式翻译进程等等，这些进程由内置工 作流引擎驱动，相互协调工作，完成系统的各种任务。
监控器：允许系统管理员通过管理界面进行数据处理、实时监控数据处理的 情况。
查询工具：提供灵活的查询定义功能，使业务人员方便地查询统计收集的数 据。
扩展处理接口：为了弥补处理引擎固有处理的不足，数据适配器提供了扩展 处理接口，用户可以基于这些接口，实现个性化的处理操作。
消息通知接口：允许系统管理配置各种通知方式，如：邮件、 QQ、SMS、 OA 通知等，系统通过接口实现故障通知、数据异常通知、数据处理通 知和用户自定义通知等功能。
协作接口：一方面，允许节点间对数据处理引擎进行远程调度，实现数据收 集协作。另一方面，用户可以基于这接口函数实现与其他系统集成。
数据网关：为了方便用户更加灵活地使用和管理数据，数据适配器提供数据 存取，用户可利用此接口实现数据交换和数据共享。内置服务包括：数 据压缩、数据加密和签名等，保证数据进出数据适配器的安全性。
数据适配器种类
简单适配器
简单适配器适合于数据传输具备独立语义的特性，即：数据元素的传输不依 赖于其他元素的传输；数据元素的引用和解释是自包含的；
有很多数据元素的传输具备独立语义特征，例如：一个word文件、一条统 计数据记录、一个审批批准的公文等等。简单说，具备独立语义的数据元素就是 最小的传输单元，这个概念类似于数据库应用中的事务处理特征，即要么整个数 据元素被传输，要么不被传输。
具备独立语义的数据元素传输不会引起数据中心查询的