商业银行数据服务平台功能优化项目 总体方案说明书.doc

商业银行数据服务平台功能优化项目实施 总体方案说明书
16
商业银行股份有限公司
数据服务平台功能优化项目实施
总体方案说明书
2020年10月
商业银行数据服务，是基础数据平台对外数据交换的唯一出口；主要以数据文件形式为载体实现数据交换，也包括库对库的直接接入和接出；同时还会以数据文件形式保留近期的数据，并可以基于数据文件进行简单的加工；当数据以文件形式对外进行数据交换时，将通过通用文件传输子系统对外传输。
通用文件传输
负责整个基础数据平台对外进行文件型数据的传输，文件型数据统一将从统一数据交换的存储区经由通用文件传输进行加密、压缩等处理，传输到接收方的数据文件服务器，然后再解密、解压恢复成可以直接使用的数据文件。按照目前商业银行的规划，类似系统正在筹划和开发建设中。
ODS
ODS是以数据库的形式存在的一个数据集成区，偏源结构建模，适合于数据整合度较低、时效性要求较高、且又不适合基于简单的数据文件进行加工而获得的应用；可以以开放数据库直接访问的形式对外提供服务，也可以直接将数据交换给下游应用自己的数据存储，如是后者，则交由统一数据交换完成并作为唯一出口；按照整体规划，ODS子系统将包含ODS数据存储模块、ODS处理模块两部分，而其中ODS数据存储模块又包括ODS技术缓冲层、ODS近源模型层(ODS基础层)、ODS共性加工层和ODS应用集市层，是整个基础数据平台的其中一个对外提供数据服务的核心，而ODS处理模块则主要是将针对各数据层中的数据库表进行数据加工转换处理，并交由统一调度监控子系统进行统一调度。
EDW
EDW(数据仓库)是以数据库的形式存在的一个数据整合区，主题模型化建模，适合一些数据整合度较高的应用；可以以开放数据库直接访问的形式对外提供服务，也可以导出数据文件提供给下游应用，如是后者，也将交由统一数据交换完成并作为唯一出口；按照整体规划，EDW子系统将包含EDW数据存储模块、EDW处理模块两部分，而其中EDW数据存储模块又包括EDW技术缓冲层、EDW整合模型层(EDW基础层)、EDW共性加工层和EDW
商业银行数据服务平台功能优化项目实施 总体方案说明书
6
应用集市层，是整个基础数据平台的另一个对外提供数据服务的核心，而EDW处理模块则主要是将针对各数据层中的数据库表进行数据加工转换处理，并交由统一调度监控子系统进行统一调度。
集成信息服务
集成信息服务是整个数据平台中，以数据库形式对外提供服务的唯一发布窗口，集成信息服务将EDW和ODS中可以对外提供查询服务的数据配合权限设定发布出来，以供业务部门用户根据自己的需求进行随机查询。
历史数据存储
历史数据存储将主要负责存储超出统一数据交换、ODS、EDW三个子系统各自生命周期的远期历史数据，便于较远期历史数据的检索和查询，同时降低存储成本；历史数据存储可以采用多种不同的方式进行混合存储，包括容价比比较便宜的数据库、文件形式数据、以及带库离线存储等。
统一调度监控
负责整个基础数据平台所有数据加工、传输任务的统一调度和监控，包括统一数据交换的作业、ODS的作业、EDW的作业等，均由统一调度监控进行统一管理。
统一数据管控
主要实现整个数据平台的数据管理功能，包括元数据、数据质量、以及代码标准化的管理。
规划中的企业级基础数据平台不仅能向集中式的下游应用提供数据支持，也能够实现对分行的数据分发和数据发布。按此规划，基础数据平台将成为全行唯一的BI系统数据的来源和供应方，对外提供数据服务的将有4个部分：即统一数据交换、ODS、EDW和历史数据存储。
统一命名规范
对于规划蓝图中各部分将采用统一命名规范：
商业银行数据服务平台功能优化项目实施 总体方案说明书
7
简称
英文名称
中文名称
HDS
History Data Store
历史数据存储
ODS
Operational Data Store
ODS
EDW
Enterprise Data Warehouse
EDW
UDE
Unitive Data Exchange
统一数据交换
USM
Unitive Scheduler And Monitor
统一调度监控
UDG
Unitive Data Governance
统一数据管控
UFT
Unitive File Transfer
通用文件传输服务
OTL
ODS Technology Buffer Layer
ODS技术缓冲层
OML
ODS Model Layer
ODS基础层(近源模型层)
OCL
ODS Common Mac