数据仓库的概念与体系结构.ppt

数据仓库的概念与体系结构
数据仓库关键特征二——数据集成
一个数据仓库是通过集成多个异种数据源来构造的。
关系数据库,一般文件,联机事务处理记录
使用数据清理和数据集成技术。
确保命名约定、编码结构、属性度量等的一致性。
当数据被移到数数据仓库的概念与体系结构
数据仓库关键特征二——数据集成
一个数据仓库是通过集成多个异种数据源来构造的。
关系数据库,一般文件,联机事务处理记录
使用数据清理和数据集成技术。
确保命名约定、编码结构、属性度量等的一致性。
当数据被移到数据仓库时,它们要经过转化。
数据仓库关键特征三——随时间而变化
数据仓库是从历史的角度提供信息
数据仓库的时间范围比操作数据库系统要长的多。
操作数据库系统:主要保存当前数据。
数据仓库:从历史的角度提供信息(比如过去5-10年)
数据仓库中的每一个关键结构都隐式或显式地包含时间元素,而操作数据库中的关键结构可能就不包括时间元素。
数据仓库关键特征四——数据不易丢失
尽管数据仓库中的数据来自于操作数据库,但他们却是在物理上分离保存的。
操作数据库的更新操作不会出现在数据仓库环境下
不需要事务处理,恢复,和并发控制等机制
只需要两种数据访问:
数据的初始转载和数据访问(读操作)
数据仓库与异种数据库集成比较
传统的异种数据库集成:(查询驱动)
在多个异种数据库上建立包装程序(wrappers)和中介程序(mediators)
查询驱动方法——当从客户端传过来一个查询时,首先使用元数据字典将查询转换成相应异种数据库上的查询;然后,将这些查询映射和发送到局部查询处理器
数据仓库:(更新驱动)
将来自多个异种源的信息预先集成,并存储在数据仓库中,供直接查询和分析
查询驱动方法和更新驱动方法的比较
查询驱动的方法
需要负责信息过滤和集成处理
与局部数据源上的处理竞争资源
对于频繁的查询,尤其是涉及聚集(汇总)操作的查询,开销很大(决策支持中常见的查询形式)
更新驱动的方法(带来高性能)
数据经预处理后单独存储,对聚集操作提供良好支持
不影响局部数据源上的处理
集成历史信息,支持负责的多维查询
数据仓库的组成
数据库
数据抽取工具
元数据
访问工具
数据集市
数据仓库管理工具
信息发布系统
数据仓库数据库
数据仓库系统中的数据库是整个数据仓库系统的核心,是数据信息存放的地方,对数据提供存取和检索支持。相对于传统数据库来说,它突出的特点是对海量数据的支持和快速的检索技术。
数据抽取工具
数据抽取工具把数据从各种各样的存储环境中提取出来,进行必要的转化、整理,再存放到数据仓库中。对各种不同的数据存储方式的访问能力是数据抽取工具的关键,数据转换通常包括:
删除对决策分析没有意义的数据
转换成统一的数据名称和定义
计算统计和衍生数据
填补缺失数据
统一不同的数据定义方式
元数据
元数据是描述数据仓库内数据的结构和建立方法的数据。元数据(Metadata)是描述数据的数据。
在关系数据库中,数据是存放在表中的,表结构的定义、关于结构的描述就是元数据。在数据仓库中,元数据就是定义数据仓库对象的数据。
元数据分为:
技术元数据
业务元数据
技术元数据
技术元数据是系统的开发和管理人员使用的、描述数据的技术细节的元数据。主要包括:
数据仓库结构的描述
仓库模式、视图、维、层次结构、导出数据的定义,以及数据集市的位置和内容
操作元数据
包括数据血统(datalineage)、数据类别(currencyofdata),以及监视信息
汇总用的算法
由操作环境到数据仓库的映射
关于系统性能的数据
索引,数据刷新、更新或复制事件的调度和定时
数据仓库的组成
业务元数据(商务元数据)
从业务角度描述了系统中的数据,是介于使用者和真实系统之间的语义层,使得不懂计算机技术的业务人员也能够“理解”系统中的数据。
业务元数据主要包括:
用户的业务术语和它们表达的数据模型信息
对象名称及其属性
数据的来源信息和数据访问的规则信息。
商务术语和定义、数据拥有者信息、收费政策等
元数据的作用
元数据与数据一起,构成了数据仓库中的数据模型,元数据所描述的更多的是这个模型的结构方面的信息。
在数据仓库中,元数据的主要用途包括:
用作目录,帮助决策支持系统分析者对数据仓库的内容定义
作为数据仓库和操作性数据库之间进行数据转换时的映射标准
帮助业务人员和技术人员更好地理解当前业务和系统数据
提高系统的管理效率。
便于系统集成和可重用
访问工具
访问工具
访问工具是为用户访问数据仓库提供手段,如数据查询和报表、应用开发工具、数据挖掘工具和数据分析工具。
数据集市
数据集市(DataMart),也叫数据市场。
数据集市是企业级数据仓库的一个子集,是为了特定的应用目的,从