数据仓库层次规范学习笔记.doc

数据仓库层次规范学习笔记.doc系统信息模型从存储内容划分
STAGE接口信息模型
ODS/DWD信息模型
MID信息模型
DM信息模型
元数据信息模型
1） .STAGE是生产系统数据源直接拷贝，由 ETL过程对数据源进行直接抽取，在格式和数
据定义上不作任何改变。与生产系统数据的唯一不同是， stage层数据具有时间戳。
STAGE层存在的意义在于两点：
（1） 对数据源作统一的一次性获取，数据仓库中其他部分都依赖于 stage层的数据，不 再重复进行抽取，也不在生产系统上运算，减小生产系统的压力
（2） 在生产系统数据已经刷新的情况下，保存一定量的生产系统的历史数据，以便在二 次抽取过程中运算出错的情况下可以进行回溯。
2） .ODS/DWD层（对应原模型的 ODS和DW层）信息模型：简称 DWD层是数据仓库的 细节数据层，是对 STAGE层数据进行沉淀，减少了抽取的复杂性，同时 ODS/DWD的信息 模型组织主要遵循企业业务事务处理的形式， 将各个专业数据进行集中。 为企业进行经营数
据的分析，系统将数据按分析的主题的形式存放，跟 stage层的粒度一致，属于分析的公共
资源。
3） .MID信息模型：轻度综合层是新模型增加的数据仓库中 DWD层和DM层之间的一个过 渡层次，是对DWD层的生产数据进行轻度综合和汇总统计。 轻度综合层与DWD的主要区 别在于二者的应用领域不同， DWD的数据来源于生产型系统，并未满意一些不可预见的需
求而进行沉淀；轻度综合层则面向分析型应用进行细粒度的统计和沉淀。
4） .DM信息模型：为专题经营分析服务，系统将数据按分析的专题组织成多维库表的形式
存放，属于分析目标范畴的数据组织与汇总， 属于分析的专有资源。其信息主要来源于 DWD
层和MID层汇总，反映实时的经营状况，时间维度为天。而历史经营状况分析，时间维度 一般为月，同时也具有季度、年这样的维度。
5） MDW 元数据信息模型：描述数据及其环境的数据，即是对数据资源的描述，是信息共 享和交换的基础和前提，用于描述数据集的内容、质量、表示方式、空间参与、管理方式以
及数据集的其他特征。 一般来说，它有两方面的用途。首先，元数据能提供基于用户的信息， 如记录数据项的业务描述信息的元数据能帮助用户使用数据。 其次，