bi商业智能.doc

数据仓库是存储数据的一种组织形式,它从传统数据库中获得原始数据,先按辅助决策的主题要求形成当前基本数据层,再按综合决策的要求形成综合数据层(又可分为轻度综合层和高度综合层)。随着时间的推移,由时间控制机制将当前基本数据层转为历史数据层。可见数据仓库中逻辑结构数据由 3层到4层数据组成,它们均由元数据(Meta Data )组织而成。数据仓库中数据的物理存储形式有多维数据库组织形式(空间超立方体形式)和基于关系数据库组织形式(由关系型事实表和维表组成)。数据仓库系统(D WS) 由数据仓库、仓库管理和分析工具三部分组成。源数据:数据仓库的数据来源于多个数据源,包括企业内部数据、市场调查报告及各种文档之类的外部数据。仓库管理:在确定数据仓库信息需求后,首先进行数据建模,然后确定从源数据到数据仓库的数据抽取、清理和转换过程, 最后划分维数及确定数据仓库的物理存储结构。元数据是数据仓库的核心,它用于存储数据模型和定义数据结构、转换规划、仓库结构、控制信息等。数据仓库:包括对数据的安全、归档、备份、维护、恢复等工作, 这些工作需要利用数据库管理系统(DBMS )的功能。分析工具用于完成实际决策问题所需的各种查询检索工具、多维数据的 OLA P 分析工具、数据开采 DM 工具等,以实现决策支持系统的各种要求。数据仓库应用是一个典型的 C/S 结构。其客户端的工作包括客户交互、格式化查询及结果和报表生成等。服务器端完成各种辅助决策的 SQ L查询、复杂的计算和各类综合功能等。现在,一种越来越普遍的形式是三层结构,即在客户与服务器之间增加一个多维数据分析服务器。 OLAP 服务器能加强和规范决策支持的服务工作,集中和简化原客户端和 DW服务器的部分工作, 降低系统数据传输量, 因此工作效率更高。什么是联机分析处理(OL AP) 联机分析处理( OLAP) 的概念最早是由关系数据库之父 odd 于1993 年提出的,他同时提出了关于 OLAP 的 12条准则。 OLA P的提出引起了很大的反响, OL AP 作为一类产品同联机事务处理(OLT P)明显区分开来。当今的数据处理大致可以分成两大类:联机事务处理 OLT P(on- line trans actio n pro cessi ng) 、联机分析处理 OLAP( On-Li ne An alyti cal P roces sing) 。 OLTP 是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。 OL AP 是数据仓库系统的主要应用, 支持复杂的分析操作, 侧重决策支持,并且提供直观易懂的查询结果。下表列出了 OLTP 与 OLAP 之间的比较。 O LAP 是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。 OL AP 的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是"维"这个概念。“维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(d imens ion) ,使用户能对不同维上的数据进行比较。因此 O LAP 也可以说是多维数据分析工具的集合。 O LAP 的基本多维分析操作有钻取(roll up和d rill down) 、切片(s lice) 和切块(d ice) 、以及旋转( pivot )、 dri ll ac ross 、 drill thro ugh 等。·钻取是改变维的层次,变换分析的粒度。它包括向上钻取(rol lup) 和向下钻取(dril ldow n)。 ro llup是在某一维上将低层次的细节数据概括到高层次的汇总数据, 或者减少维数;而 drill down 则相反,它从汇总数据深入到细节数据进行观察或增加新维。·切片和切块是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个, 则是切片;如果有三个,则是切块。·旋转是变换维的方向,即在表格中重新安排维的放置(例如行列互换)。 OLA P有多种实现方法,根据存储数据的方式不同可以分为 R OLAP 、 MOLAP 、 HOLA P。 ROLA P表示基于关系数据库的 OLA P实现(R elati onal OLAP) 。以关系数据库为核心,以关系型结构进行多维数据的表示和存储。 ROLAP 将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了"星型模式"。对于层次复杂的维,为避免