BI数据中心搭建流程.pdf

该【BI数据中心搭建流程 】是由【读书百遍】上传分享，文档一共【21】页，该文档可以免费在线阅读，需要了解更多关于【BI数据中心搭建流程 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:.
.
数据中心搭建流程
.:.
.
目录
一、前言....................................................................................................................................3
二、总体架构............................................................................................................................4
自顶向下搭建........................................................................................................................5
自底向上搭建........................................................................................................................6
三、数据中心搭建具体流程(架构角度)............................................................................6
1、数据源整合ETL..............................................................................................................7
2、ODS或DWH搭建..........................................................................................................7
3、多维分析模型建立.........................................................................................................8
4、数据展现平台搭建.........................................................................................................8
5、Protal门户的搭建..........................................................................................................9
四、数据中心搭建具体流程(项目角度)............................................................................9
1、前期调研阶段...............................................................................................................10
2、需求阶段.......................................................................................................................10
3、设计阶段.......................................................................................................................10
4、开发阶段.......................................................................................................................11
5、系统测试阶段...............................................................................................................11
6、用户测试阶段...............................................................................................................11
7、上线阶段.......................................................................................................................11
8、结项阶段.......................................................................................................................11
五、分布搭建规划..................................................................................................................12
1、一期任务和目标...........................................................................................................12
2、二期任务和目标...........................................................................................................13
.:.
.
3、三期任务和目标...........................................................................................................14
六、项目管理行动对照表......................................................................................................15
1、启动过程组....................................................................................................................15
2、规划过程组....................................................................................................................16
3、执行过程组....................................................................................................................17
4、监控过程组....................................................................................................................19
5、收尾过程组....................................................................................................................20
一、前言
数据中心的整体搭建主要涉及软环境和硬件架构设计两方面,软环境包含
数据源、ETL过程、ODS、DWH和前端展现等。硬件架构为使用的服务器、交换
机等硬件承载设备。
为了有效的利用数据中心,需要在软、硬两方面都要关注,不能出现“短板
现象”,使其中之一成为整个系统的瓶颈。
硬件部分相对较为简单,确定设备数量、型号和性能指标,进行Infra设
计,在系统开发完成之前到位,不可耽误系统测试阶段的进度。在此着重介绍
软环境部分。
.:.
.
二、总体架构
在整个数据中心项目过程中,将会涉及上图中的各个环节,其中针对数据仓库的设计会有两
种情况:
.:.
.
自顶向下搭建
这种搭建方法,是将用户目前所涉及的所有业务系统都统一的进行数据
抽取并按照一定规则存放在数据仓库中,搭建好这个整体的数据仓库之后所
有的数据利用通过此数据仓库完成。
优势:数据仓库一步成型,规划思路明确,数据存放有条理,对日后业务的
开展可进行快速响应。
劣势:整合所有数据源耗时长、人力、物力、财力投入大,对于完成整体数
据仓库之后有利用不上的可能,造成资产浪费。
.:.
.
自底向上搭建
这种搭建方法,是针对业务分析主题而去逐步整合用户数据源的过程,当企
业发展到某一阶段需要对某项业务主题进行分析时,可以通过此种方法整合所涉
及的数据源,已达成数据分析利用的目的。
优势:有针对性的整合数据源,目标明确,能够有效的避免资源浪费,缩小项目
范围,大大提高项目成功率并能充分利用,缩短项目周期,效果立竿见影。
劣势:分布实施使得总体项目周期延长,当遇到突发业务变化时,局部整合的数
据源有可能不能支持业务的需要,应变能力有所不足。
三、数据中心搭建具体流程(架构角度)
对于数据中心的搭建流程,从架构角度出发会涉及数据源整合ETL、ODS
或DWH搭建、多维分析模型建立、数据展现平台搭建、Protal门户的搭建。不
论是选择哪种方式进行数据中心搭建,都需遵从以下步骤。
.:.
.
1、数据源整合ETL
对于现有业务数据源进行整合。有可能当前分析主题只涉及一个数据源,即
使如此也许进行ETL过程。
首先,搭建数据仓库或数据集市不应直接使用原有业务数据库,这样既不
高效也不安全,数据格式还不统一。其次,数据源的数据质量不能保证,其中
有可能存在重复数据、脏数据等问题,在进行数据分析过程时,这些因素是必
须要去掉的。
所以,进行数据源的整合步骤时,不论是涉及一个还是多个数据源,操作原
理是一样的,此过程为必要过程。
2、ODS或DWH搭建
ODS(OperationalDataStore)操作型数据存储,是一个面向主题的、集成的、
可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的
全体信息的需求。
DWH(Datawarehouse)数据仓库,是在企业管理和决策中面向主题的、集成的、
与时间相关的、不可修改的数据集合。
搭建此层级的目的很明确,为分析主题提供数据支持。有了DWH或ODS+DWH
.:.
.
后,就可在此层级之上进行数据建模、展现等工作。
3、多维分析模型建立
作为商业智能领域的核心,多维建模可以说是非常重要的一个环节。在这个
环节中的维度设计、指标划分、度量等多方面的考虑,直接影响数据利用的效率
和可实现的功能结果。
在建立多维模型前,需要与最终用户进行需求分析,明确用户想要的,并明
确能实现的是哪些。将需求工作做好,以免日后项目功能不达标。
4、数据展现平台搭建
在
这个展现平台上包含了决策支持服务层、信息发布服务层、数据展现服务
层和联机分析服务层等。对于商业智能的表现手段来说,可以是多种多样的。➢
通过仪表板、平衡记分卡、图表、报表等多种手段进行展现;
➢使用上钻、下钻、钻透等方式来辅助使用者利用数据信息;
.:.
.
➢通过预设好的数据模型,用户可以自主的进行自定义报表的制定,完成这一
切只需要简单的拖、拉、拽操作,便于使用。
5、Protal门户的搭建
作
为整个数据利用的最后一层,担负的责任最为重大,直接将界面呈现给最终用
户,一般情况下会使用B/S结构,通过浏览器进行展现,如其中涉及了一些特殊
控件时,可能会通过浏览器调用一个本地应用来支持完成。
当然,通过Protal对用户进行安全验证和权限控制也是另外一个很重要的原
因,当不同的用户登录后,会验证在不同的用户组中,登录之后展现的界面也是
有所差异的,这样就使数据利用系统有一个统一的展现界面,关心不同问题的用
户等够有所划分的看到不同展现。
四、数据中心搭建具体流程(项目角度)
对于数据中心的搭建流程,从项目角度出发会涉及前期调研阶段、需求分析阶
.:.
.
段、设计阶段、开发阶段、系统测试阶段、用户测试阶段、上线阶段、结项阶
段。
1、前期调研阶段
在此阶段中,需要大致明确用户需求,对用户环境进行调研,如让用户填写
调查问卷等。如采用招标流程,需要仔细研究标书内容,确定工作范围,并能保
证功能满足用户需求。
此段时间一般不超过2周工作日,细致的用户调研会安排在需求分析阶段。
2、需求阶段
在签订项目合同之后,正式进入项目阶段,需求分析阶段主要是明确用户的
需求,将可实现与不可实现的列出,将需求分析落实在纸面上,并双方确认达成
共识,在确认之后发生的变化,统一划分为需求变更处理。
按照项目规定完成时间,此阶段占用时间根据对用户环境、系统和需求的了
解程度而制定,如对上述都不了解,则应放宽需求阶段时间,以确保项目最终能
够达成用户需求,减少不必要的项目变更。
3、设计阶段
在设阶段会涉及模型设计、用户界面设计、数据模型验证和原型演示功能设
计等。
➢模型设计中会包括元数据与CUBE设计;
➢用户界面设计中包括Protal部分设计、报表等其他功能设计;
➢Coding部分编写;
将设计总结为完整的设计报告,提交项目小组。
此阶段需要用户进行配合,进行阶段性成果物确认及设计方案确认。当出现
与用户不一致时,及时进行讨论,以免有所偏差。
.:.
.
4、开发阶段
开发阶段将会按照前期的设计部分执行,设计Protal开发(主要为客户化需
求制定)、前端展现部分开发、CUBE部分开发和ETL部分开发。
由于项目属于BI项目,所以编写代码部分较少,在Protal部分及前端展现
,其余属于所见即所得式开发。
在开发阶段基本不需要用户进行配合,每周进行项目周报进度提交即可。
5、系统测试阶段
进入系统测试阶段后,开发部分已经基本结束,由开发团队进行系统测试。
开发团队中将安排专职负责系统测试人员,通过黑盒、白盒等模式进行测
试,
主要涉及功能实现、数据比对、性能测试、排查bug等工作,并提交完整的测试
报告。
此部分如无重大开发失误,则耗时较短。
6、用户测试阶段
经过系统测试阶段后,最终用户可进行实际测试,查看否符合项目预期,此
时在理论上应不存在功能和设计上的缺陷,主要是实际数据加载后的性能测试。
7、上线阶段
通过两轮测试之后,系统正式进入上线阶段,此时主要为收集实际用户使用
反馈情况,记录系统正式上线后的性能等。
对最终用户进行系统操作培训,提交相关使用文档。
8、结项阶段
举行项目庆祝会。
提供完善的项目售后服务。
.:.
.
总结项目得失,如有后期工程,开始进行准备后期项目。
五、分布搭建规划
作为一个企业构筑数据中心是一项庞大而复杂的项目,想一蹴而就能够很快
的呈现出一个完美的数据中心系统是不现实的,我们在这里为了能够化繁为简、
逐步深入,将数据中心项目分成了三期工程来实现,这样做的好处是能够快速的
体验的数据中心的价值,将项目时间划分为段落,缩短单个项目时间和范围,便
于项目的整体把控和开展。
对于用户能够减少首次投入,减小项目风险,在项目的实施过程中不断的完
善自己的想法,整理出一套适合自身企业的度量标准。
1、一期任务和目标
一期的主要任务如下图:
一期
规划分解规划分解
平台搭建期
数据集成
✓关键业务系统导入
数据整合✓供应、库存、销售统一视图
✓统一维度和指标体系
KPI
✓基本指标建立
信息协同
统计报表✓制式报表
✓常用报表
✓专用业务分析报表
分析报告
✓综合报表
.:.
.
分析监控
✓常用数据图表
工作流
一期目标在于能够搭建出一个企业数据中心的基础平台,将此平台搭建好之
后,做到关键数据源整合,对目前企业最重要的痛点进行改造,有了完善、可
信、准确的数据之后就可将企业日常管理中最熟悉、最常用的管理方法、手段,
通过我们的数据中心展示出来,让用户开始对数据中心概念有所直观了解逐步去
深入挖掘数据中心的价值。
2、二期任务和目标
二期的主要任务如下图:
规划分解二期
深入应用期
数据集成✓其他系统导入
✓外部系统数据
✓其他公司经营系统数据
数据整合✓供应、物流、销售、服务、库存、财务统一视
图
✓优化完善维度和指标体系
KPI
✓建立局性KPI指标体系
信息协同✓部门间信息互通
✓信息订阅分发
统计报表✓常用业务报表
✓专用业务分析报表
分析报告
✓综合分析报告
.:.
.
分析监控
✓供应、物流、销售、仓储相关指标监控仪表板
工作流
二期目标在于深入利用数据中心的强大功能,将企业中设计的多个数据源进
行导入,如果有外部数据也可一起导入。当数据的来源越多,数据中心所能提供
能综合分析能力越强,就像一台可自我学习的机器一般,将企业的整体信息融汇
在一处。通过一期项目的摸索和使用后,对关键指标的建立、数据的展现方式、
综合分析的能力等都会提出更高的要求,在二期项目中将会完善这些要求。
3、三期任务和目标
三期的主要任务如下图:
规划分解三期
普及提高期
数据集成✓相关外部数据
数据整合
✓内、外结合的综合分析数据视图
✓部门化KPI指标
KPI✓KPI指标分解
✓建立分析模型
信息协同✓用户自定义分析
✓自行报表发布
✓文档交互
✓数据驱动分发
统计报表
✓KPI驱动的报表
.:.
.
✓状态分析类报告
分析报告
✓预测、评估类报告
✓考核类分析报告
✓绩效考核
分析监控
✓指标监控
✓预警、提示
✓业务协同驱动的工作流
工作流
✓监控预警数据驱动的工作流
三期作为项目划分的最后一个阶段,当然也许还会有后期项目,因为数据中
心的搭建本身就是一个不断完善的过程。而这里的第三期项目主要就是进行分
析、利用、综合的加强改造,通过前两期的设计和使用,用户已经对数据中心和
BI理念有了充足的认识,不论是数据整合层面还是指标建立或是展现方式等等,
都有了更加深入的理解和自身的感悟。在三期项目中目标就是要将这个数据中心
能够更加适应企业的特点、更加全面的服务企业,使其能够成为企业管理中不可
或缺的一部分。
六、项目管理行动对照表
1、启动过程组
启动过程组核对表
行动
1从通过可行性研究的候选项目中选择一个项目
2选择项目经理
3授权给项目经理
4收集历史信息
5把大项目划分成几个阶段
6确定高层次干系人,识别他们的影响,以及对风险的承受力
7把干系人的需求和期望转换成项目的要求
8保证商业需求已经记录
9记录假设
10记录限制条件
11保证最终的产品范围是可实施的
12理解项目如何与组织的战略目标相适应
.:.
.
13决定项目目标和产品目标
14使解决冲突目标的方法实施起来更加方便
15熟悉与项目相关的公司文化和结构
16找到现有的流程和标准
17理解公司如何开展业务及适用于项目的公司已有的程序和政策
18使用项目规划过程组做高层次计划
19完成关于项目进度和预算重要估算的顺序
20决定项目章程的形式,以及原因
21和干系人及客户协调项目的启动事宜
22和客户一起决定可交付成果的标准及项目的范围
23决定最初的项目组织
24记录已知的所有风险
25决定所有需要的里程碑
26决定范围如何控制
27最终确定项目章程
28得到项目章程的正式批准
2、规划过程组
规划过程组核对表
行动
决定如何计划范围、时间、成本、风险、质量、过程改进和采购,以及
1
将这些计划放在各个知识领域管理计划的开始
2完善来自项目启动的要求,使它们更加具体
创建一个关于项目可交付成果的描述,这项工作要求完成项目范围说明
3
书
在进一步的计划完成前利用项目范围说明书从干系人那里得到关于最终
4
范围的批准
5确定项目团队
6建立WBS
在WBS词典里创建关于每个工作包的描述,使得被分派做这项任务的新
7
手也能够明白
8如果必要的话把工作包划分为活动
9排列活动,确定先行和后续的活动
10估计资源需求
11和职能经理会面获得资源使用权
12决定估计的准确程度
.:.
.
13保证人员在估计的时间和成本内工作
14确定如果不压缩工期的话项目多久能够完成
15编制进度模型
16编制预算
17确定质量标准及考核质量的绩效标准
18确定随后需要哪些程序以减少监管的工作,改进质量和使用标准
明确确定所有项目成员的角色和责任,确保干系人知道这些人的职责,
19
以及他们需要做哪些工作
20确定需要从其他项目那里得到的信息,以及能给其他项目什么信息
21和所有干系人一起工作并理解他们的沟通要求
22完成风险识别、定性和定量分析,以及风险应对计划
23对项目管理计划进行滚动更新
24确定采购对象
25准备采购文件
注意其他项目可能积极或者消极影响本项目的地方,以及本项目对其他
26
项目的影响
27最后确定如何执行和控制所有管理计划
28计划考核项目绩效的方法,使用的标准,什么时候用及如何使用
确定为了保证项目绩效和项目计划一致需要的控制手段包括会议、报告
29
及其他活动
30确定改进过程的计划
制定最终的项目管理计划,通过进度网络图和项目能够达到的目标的绩
31
效测量标准
32从出资人、团队和职能经理那里得到正式的批准
和所有干系人、团队成员、团队成员的职能经理、客户一起举行启动大
33
会,保证所有目标和利益的一致性
3、执行过程组
执行过程组核对表
行动
1确定并管理所有干系人的期望
2保证对工作的理解一致
3实施最初的项目管理计划或者经过控制修改后的项目管理计划
.:.
.
4完成工作包
5收集并记录经验教训
6建立并管理共同渠道
7评价项目团队作为一个整体的有效性
8实施批准的变更、纠正行动、预防措施和缺陷补救
9实施质量保证程序
10产生项目报告
11举办团队建设活动
12在团队会议上遵循程序
13为团队成员争取必要的培训
14发布信息
15清除障碍
16实现满足需求的工作结果
17与职能经理会面确认资源的承诺
18当项目需要资源时,保证职能经理被通知到
19让资源与项目管理计划的安排协调一致
20管理项目过程
引导、辅助、沟通、领导、协商、帮助、指导以推进项目计划
21
的执行
22在项目执行中运用技术知识
23在完成工作包需要使用工作授权系统时授予权利
24举办进度会议
25收发信息
26聚焦于事前预防而不是事后处理
27确保所有的成员具备完成工作所需的技能、信息和设备
聚焦于管理批准的项目管理计划的期望,而不是检查每个成员
28
的工作
29推荐变更及纠正措施并整合在变更管理中
30遵循组织的政策、过程和程序
31增加程序的有效性
32推荐活动以增加组织绩效完成的效率
33确定项目活动是否遵从过程、政策和程序
34确保对项目管理计划的一致认同
保持每个人都聚焦于项目章程、要求或者产品范围,商业情况
35
和项目管理计划
36当严重问题出现时重新评估项目的商业情况
37解决问题
.:.
.
38实施在规划过程组制定的识别和奖励系统
确定原来在规划过程组列入的而在执行过程组中没有用到的项
39
目成员
40实施品准的改进过程
41实施在规划时制定的计划或者要求的工作范围
42要求供应商对采购文件做出回应
43重新审视投标报价并选择供应商
44花费并监控项目资金
4、监控过程组
监控过程组核对表
行动
1依据管理计划测量项目绩效
2依据绩效测量基准测量绩效
3确定差异并确定推荐的纠正行为或者变更是否正当
4确定什么差异是重要的,并不断训练这种判断力
5推荐变更、缺陷补救、预防和纠正性行动
6在整合变更控制中批准变更、缺陷补救、预防和纠正性措施
7使用冲突解决技术使得解决冲突更加便利
8创建预测
9管理配置
10控制范围、进度,成本和质量符合基准
11使用事件日志
12不断修正和调整控制限制
13举办关于控制项目的会议
14明确导致问题出现的根源
15推荐项目管理计划的更新
16客户正式接受可交付成果
17识别重新计划的必要性
18关注并管理剩余的时间和成本
19重新计算项目的成本和工期
20如果必要的话获得额外的资金
21开展