平台部署及整体架构.doc

一、项目背景宁波财税智能管理系统是宁波财税实现数据综合利用但又不局限于传统数据应用系统的大平台,是满足财税各级领导和管理人员、操作人员数据查询、统计、分析、数据挖掘、辅助决策支持、智能档案管理、业务主体统一视图以及结合地理信息展现数据应用过程和结果等各类需求的系统。总体分为“一个平台六大应用”:数据应用基础平台、智能档案管理、智能视窗、智能综合分析、智能地理信息系统、智能业务管理系统和智能决策支持系统。该项目于2011年8月份完成政府采购招标工作,内容包含咨询规划和软件开发实施。目前已完成了项目的系统架构设计及开发试点单位的需求调研工作,进入开发编程阶段、系统试点测试阶段。此项目各应用系统开发运行需有相应第三方软件支持,在项目前期的规划设计中,我们使用了以下的工具和软件:1、数据应用基础平台需要依托CDC(变化数据捕捉)工具和ETL(数据抽取、转换、装载)工具软件实现。根据前期系统架构设计,系统采用了Oracle公司的GoldenGate作为结构化数据复制备份软件,IBM公司的DataStage作为数据ETL集成产品来开发设计。2、智能综合分析系统需要强大的报表工具,这里沿用了我局目前还在使用的财税数据应用项目所使用的报表工具——IBM公司的Cognos,本次需求是需要对原软件的升级。3、宁波财税智能管理系统在技术路线上选择先进统一的SOA技术架构。SOA架构的核心是需要有ESB(服务总线)产品,软件设计中我们采用IBM公司的WebSphereMessageBroker。4、智能地理信息系统中的地理信息数据是任何地理信息系统建设的基础,我们的软件设计中采用了高德公司的数据。5、宁波财税智能管理系统是基于J2EE技术体系架构建设的系统,并需要将多个中间件服务器组成一个集群提供高可用性、负载均衡和容错能力。架构设计中沿用了财税目前正在使用的几大核心系统——“金财”、“金税”等所使用的Weblogic中间件。二、项目内容:标包产品规格及型号授权许可数量一1、数据整合软件ETL工具(最新版)4CPU12、商业智能分析工具软件(最新版)15用户数13、服务总线(ESB)软件(最新版)1CPU1二1、数据同步、容灾软件(最新版)2CPU12、中间件套件(最新版)2CPU1三1、基础地理信息数据1三、招标货物技术规格1、数据整合软件序号指标项招标要求1技术指标1)ETL处理过程支持多种操作系统平台,如UNIX、WindowsNT/2000等。2)ETL处理过程支持主流硬件平台。3)ETL处理过程必须支持并行处理。4)增加硬件资源后只需要更改配置文件,不需要重新编译。设计人员设计完成可以适应任何SMP,MPP系统。5)具有多种数据分区方式,和数据源无关。支持在数据处理中的任意过程对数据进行再分区。6)单一元数据资料库,单一并行引擎,单一管理客户端。7)ETL处理过程必须包括有统一调度、监控和管理的功能。8)ETL处理过程对数据源系统的影响小。9)ETL处理过程支持各种字符集的转换。10)ETL处理过程支持校验点。当外部数据记录特别庞大时,如果因为某种原因发生故障中断后,可以从最近的校验点开始恢复处理。11)ETL处理过程具有完整的日志管理和数据审计功能,并且有相关的监控预警机制,保证ETL正常进行。12)资源估计的功能,可以理解硬件资源的需求。性能分析功能,发现性能瓶颈。13)ETL处理过程可提供图形化的操作界面,具有良好的易用性。14)ETL处理过程支持将ETL执行或开发的权利赋给指定的人,避免不相关人员的误操作,并能记录操作人员的使用情况。15)ETL处理过程支持定义外部数据记录的错误限制,如发现最多1000条错误数据记录时停止进行处理,同时将发生错误的数据记录加到相应的错误表中。16)支持各种平台的异构数据源系统的数据。17)采用高性能的数据抽取接口,比如:专用数据库驱动接口、JDBC、ODBC接口等;支持DB2,Oracle,WebSphereMQ的两阶段提交18)数据抽取过程支持增量抽取、完全抽取等抽取策略,对于数据源系统支持异步抽取或同步抽取。19)数据转换模块可进行二次开发,并通过对内嵌脚本语言、存储过程、插件及外部程序的支持来处理复杂的处理,提供调试、跟踪功能。20)数据加载支持利用多个数据库连接,进行大量数据的并行加载。21)数据加载支持设计自动加载的流程。当日常数据加载出错,一般采用人工干预的方式来进行,这时需提供一个数据重新接收、加载的操作界面。22)统一元数据访问和管理。包括技术元数据、业务元数据和管理元数据都在统一而且唯一的元数据资料库中。生成元数据报表、支持ETL过程的冲突分析、支持基于元数据的查询功能、支持ETL过程的流程分析等。23)对元数据的管理,主要包括:元数据存储的提取方式、元数据存储的开放性、元数据存储