达梦数据交换平台产品白皮书.docx

: .
达梦数据交换平台
——高效全面的数据集成平台
产
品
白
皮
书
达梦数据库有限公司清洗转换W
增量数据抽取W
作业调度W
数据发布与订阅V
自定义函数变量W
权限管理W
操作审计W
实时告警W
数据质量检测V
数据交换与路由（DMETLDatabusV
交换监控与统计（DMETLWebConsole/
典型应用场景
达梦数据交换平台是专门为各种类型的数据集成应用而设计的，使用达梦数据交换平台，能够大大缩短数据集成类应用的工作量。达梦数据交换平台能够全面而高效的应用于以下一些场景。
1异构数据同步
异构数据同步是指在一定的时间范围内，通过特定的技术方式，实现异构数据源之间的数据一致性。数据同步应用通常有以下一些要求：
性能要求高，通常要达到准实时同步，因此需要实现增量数据抽取，以达到快速同步和节省网络资源的；
可靠性要求高，故障自动恢复。
达梦数据交换平台可以很好的满足上述要求，可以支持一对一或者一对多的文件到文件、文件到数据库、数据库到数据库、数据库到文件的数据同步。同步的源和目的数据可以是不同类型的数据库或者文件，并且在同步过程中可以对数据格式进行转换以满足源和目上的不同应用系统的要求。
I
一对多数据同步
2数据交换
数据交换，通常用于不同部门间的业务协同，数据的流动是通常由应用发起并推动的，应用获取到数据并完成业务逻辑之后，可以把数据存储下来，也可以丢弃。数据交换应用通常涉及多个部门的数据库和应用程序，需要部署多台数据交换服务器。
达梦数据交换平台内置了软总线功能，可以连接各种应用和数据源，支持数据自动路由，保证数据的安全可靠传输。同时达梦数据交换平台也提供了交换监控配置系统，通过该系统可以实时监控各个交换节点的状态，并可以可视化的修改交换路由设置。
跨部门数据交换
3数据整合
数据整合是指将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者数据仓库中，用于提供数据共享、数据分析等服务。其特点是：数据量大，数据种类丰富，需要较高的数据装载性能；
对数据质量要求高，需要有丰富易用的数据清洗转换组件；
数据持续集成，不同类型的数据集成的周期可能不同，需要功能强大的作业调度与监控功能；
达梦数据交换平台具有数据分区并发清洗和装载、数据质量实时检查以及灵活的调度设置，能全面满足数据整合应用对于性能、易用性的要求。
数据整合
功能特色
全面的数据源支持
支持各种主流数据库（达梦、Oracle、SQLServer、DB2、Mysql、SybasePostgreSql等的全量和增量数据抽取和装载，还支持TXT、CSV、Excel、XML文件、消息服务器、LDAP服务器、WebService等数据的抽取和装载。
易用增量数据抽取
内置了各种增量数据抽取方式，用户只需要简单的设置即可实现对各种数据
库的数据的增量数据抽取，为实时数据集成提供了良好的支持。
批量文件处理
支持各种文件（txt、excel、xml的批量读取和解析，能够自动识别目录中新增和修改的文件，并且能够在本地和远程服务器之间同步文件夹。
丰富的数据转换规则
内置近40多种数据清洗转换规则，支持动态扩充。对于简繁体、汉字拼音、乱码处理、字符集转换、中文数字的中国特有的问题提供内置的转换规则进行处理。
□*:f才Q/噜侬，姓等
■,隘
i■!£事班，”卜tk鼻,七淮
■用,由怅帕切山二二
■北享/K，；一等!9方善
■■宇今・也!―
■崎♦*享
批量流程创建
提供基于模板的批量流程生成向导，可以快速生成大量类似的转换，大大提高工作效率
企业级的监控
提供了BS架构的统一监控系统，通过该系统用户可以直观的监控整个多节点数据交换网络，实时查看后台流程运行状态和统计信息、接收和处理系统告警，并执行日常的管理和维护工作。
实时数据质量检查
DMETL内置了数据质量检查功能，能够根据用户定义的规则对流程中的数据质量进行检查，并对结果进行统计。支持用户定制规则以及和重用质量检查规则高性
能
采用基于流水线的多线程架构，并支持数据分区处理和并行装载，可以充分发挥硬件性能,数据处理能力可以随着系统CPU和IO性能的提升而同步提升。此外还
支持支持单表多连接并行装载、达梦、oracle的快速装载接口、文本文
件的分段并行解析等。
高安全
提供基于角色的权限控制机制，责权明晰。支持传输加密，不同交换节点之间传输的数据都是经过加密