数据仓库的开发设计过程模板.doc

数据仓库的开发设计过程数据仓库之路FAQFAQ目录一、 与数据仓库有关的几个概念 2 目录 2二、 数据仓库产生的原因 6三、 数据仓库体系结构图 7四、 数据仓库设计 8 数据仓库的建模 8 数据仓库建模的十条戒律: 9五、 数据仓库开发过程 9 数据模型的内容 9 数据模型转变到数据仓库 10 数据仓库开发成功的关键 11六、 数据仓库的数据采集 11 后台处理 12 中间处理 12 前台处理 13 数据仓库的技术体系结构 13 数据的有效性检查 15 清除和转换数据 15 简单变换 16 清洁和刷洗 17 集成 18 聚集和概括 20 移动数据 20七、 如何建立数据仓库 22 数据仓库设计 22 数据抽取模块 23 数据维护模块 24与数据仓库有关的几个概念目录DatawarehouseDatamartOLAPROLAPMOLAPClientOLAPDSSETLAdhocqueryEISBPRBIDataminingCRMMetaDataDatawarehouse本世纪80年代中期,“数据仓库之父”William《建立数据仓库》一书中定义了数据仓库的概念,随后又给出了更为精确的定义:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。与其他数据库应用不同的是,数据仓库更像一种过程,对分布在企业内部各处的业务数据的整合、加工和分析的过程。而不是一种可以购买的产品。Datamart即数据集市,或者叫做“小数据仓库”。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集,他主要面向部门级业务,并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。OLAP联机分析处理(OLAP)。当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念,即OLAP。Codd提出OLAP的12条准则来描述OLAP系统:准则1OLAP模型必须提供多维概念视图准则2透明性准则准则3存取能力推测准则4稳定的报表能力准则5客户/服务器体系结构准则6维的等同性准则准则7动态的稀疏矩阵处理准则准则8多用户支持能力准则准则9非受限的跨维操作准则10直观的数据操纵准则11灵活的报表生成准则12不受限的维与聚集层次ROLAP基于Codd的12条准则,各个软件开发厂家见仁见智,其中一个流派,认为可以沿用关系型数据库来存储多维数据,于是,基于稀疏矩阵表示方法的星型结构(starschema)就出现了。后来又演化出雪花结构。为了与多维数据库相区别,则把基于关系型数据库的OLAP称为RelationalOLAP,简称ROLAP。代表产品有InformixMetacube、,自行建立了多维数据库,来存放联机分析系统数据的ArborSoftware,开创了多维数据存储的先河,后来的很多家公司纷纷采用多维数据存储。被人们称为MuiltDimensionOLAP,简称MOLAP,代表产品有Hyperion(原Arborsoftware)Essbase、ShowcaseSTRATEGY等。ClientOLAP相对于ServerOLAP而言。部分分析工具厂家建议把部分数据下载到本地,为用户提供本地的多维分析。代表产品有BrioDesigner,(DecisionSupportsystem),相当于基于数据仓库的应用。决策支持就是在收集所有有关数据和信息,经过加工整理,来为企业决策管理层提供信息,为决策者的决策提供依据。ETL数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。Adhocquery即席查询,数据库应用最普遍的一种查询,利用数据仓库技术,可以让用户随时可以面对数据库,获取所希望的数据。EIS领导信息系统(ExecutiveInformationSystem),指为了满足无法专注于计算机技术的领导人员的信息查询需求,而特意制定的以简单的图形界面访问数据仓库的一种应用。BPR业务流程重整(BusinessProcessReengineering),指利用数据仓库技术,发现并纠正企业业务流程中的弊端的一项工作。数据仓库的重要作用之一。BI商业智能(Bu