BI数据中心搭建流程.docx

数据中心搭建流程



目录
一、前言 3
二、总体架构 4
自顶向下搭建 5
自底向上搭建 6
三、数据中心搭建具体流程(架构角度) 7
1、数据源整合 ETL 7
2、 ODS 或 DWH 搭建 8
3、多维分析模型建立 8
4、数据展现平台搭建 9
5、 Protal 门户的搭建 9
四、数据中心搭建具体流程(项目角度) 10
1、前期调研阶段 10
2、需求阶段 11
3、设计阶段 11
4、开发阶段 11
5、系统测试阶段 12
6、用户测试阶段 12
7、上线阶段 12
8、结项阶段 12
五、分布搭建规划 12
1、一期任务和目标 13
2、二期任务和目标 14
3、三期任务和目标 15
六、项目管理行动对照表 16
1、启动过程组 16
2、规划过程组 17
3、执行过程组 18
4、监控过程组 20
5、收尾过程组 21


一、前言
数据中心的整体搭建主要涉及软环境和硬件架构设计两方面,软环境包含数据源、ETL过程、ODS、DWH和前端展现等。硬件架构为使用的服务器、交换机等硬件承载设备。
为了有效的利用数据中心,需要在软、硬两方面都要关注,不能出现“短板现象”,使其中之一成为整个系统的瓶颈。
硬件部分相对较为简单,确定设备数量、型号和性能指标,进行Infra设计,在系统开发完成之前到位,不可耽误系统测试阶段的进度。在此着重介绍软环境部分。
二、总体架构


在整个数据中心项目过程中,将会涉及上图中的各个环节, 其中针对数据仓库的设计会有两种情况:
自顶向下搭建

这种搭建方法,是将用户目前所涉及的所有业务系统都统一的进行数据抽取并按照一定规则存放在数据仓库中,搭建好这个整体的数据仓库之后所有的数据利用通过此数据仓库完成。

优势:数据仓库一步成型,规划思路明确,数据存放有条理,对日后业务的开展可进行快速响应。
劣势:整合所有数据源耗时长、人力、物力、财力投入大,对于完成整体数据仓库之后有利用不上的可能,造成资产浪费。
自底向上搭建

这种搭建方法,是针对业务分析主题而去逐步整合用户数据源的过程,当企业发展到某一阶段需要对某项业务主题进行分析时,可以通过此种方法整合所涉及的数据源,已达成数据分析利用的目的。

优势:有针对性的整合数据源,目标明确,能够有效的避免资源浪费,缩小项目范围,大大提高项目成功率并能充分利用,缩短项目周期,效果立竿见影。
劣势:分布实施使得总体项目周期延长,当遇到突发业务变化时,局部整合的数据源有可能不能支持业务的需要,应变能力有所不足。

三、数据中心搭建具体流程(架构角度)
对于数据中心的搭建流程,从架构角度出发会涉及数据源整合 ETL、ODS 或 DWH 搭建、多维分析模型建立、数据展现平台搭建、Protal 门户的搭建。不论是选择哪种方式进行数据中心搭建,都需遵从以下步骤。
1、数据源整合 ETL

对于现有业务数据源进行整合。有可能当前分析主题只涉及一个数据源,即使如此也许进行 ETL 过程。
首先,搭建数据仓库或数据集市不应直接使用原有业务数据库,这样既不高效也不安全,数据格式还不统一。其次,数据源的数据质量不能保证,其中有可能存在重复数据、脏数据等问题,在进行数据分析过程时,这些因素是必须要去掉的。
所以,进行数据源的整合步骤时,不论是涉及一个还是多个数据源,操作原
理是一样的,此过程为必要过程。

2、 ODS 或 DWH 搭建

ODS(Operational Data Store)操作型数据存储,是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。
DWH(Data warehouse)数据仓库,是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。
搭建此层级的目的很明确,为分析主题提供数据支持。有了DWH或ODS+DWH
后,就可在此层级之上进行数据建模、展现等工作。

3、多维分析模型建立

作为商业智能领域的核心,多维建模可以说是非常重要的一个环节。在这个环节中的维度设计、指标划分、度量等多方面的考虑,直接影响数据利用的效率和可实现的功能结果。
在建立多维模型前,需要与最终用户进行需求分析,明确用户想要的,并明
确能实现的是哪些。将需求工作做好,以免日后项目功能不达标。

4、数据展现平台搭建
在这个展现平台上包含了决策支持服务层、信息发布服务层、数据展现服务
层和联机分析服务层等。对于商业智能的表现手段来说,可以是多种多样的。Ø 通过仪表板、平衡记分卡、图表、报表等多种手段