BI数据中心搭建流程.docx

该【BI数据中心搭建流程 】是由【Ck_wangyulover】上传分享，文档一共【19】页，该文档可以免费在线阅读，需要了解更多关于【BI数据中心搭建流程 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。Documentnumber:NOCG-YUNOO-BUYTT-UU986-1986UT
BI数据中心搭建流程
数据中心搭建流程
目录
一、前言
数据中心的整体搭建主要涉及软环境和硬件架构设计两方面,软环境包含数据源、ETL过程、ODS、DWH和前端展现等。硬件架构为使用的服务器、交换机等硬件承载设备。
为了有效的利用数据中心,需要在软、硬两方面都要关注,不能出现“短板现象”,使其中之一成为整个系统的瓶颈。
硬件部分相对较为简单,确定设备数量、型号和性能指标,进行Infra设计,在系统开发完成之前到位,不可耽误系统测试阶段的进度。在此着重介绍软环境部分。
二、总体架构
在整个数据中心项目过程中,将会涉及上图中的各个环节,其中针对数据仓库的设计会有两种情况:
自顶向下搭建
这种搭建方法,是将用户目前所涉及的所有业务系统都统一的进行数据抽取并按照一定规则存放在数据仓库中,搭建好这个整体的数据仓库之后所有的数据利用通过此数据仓库完成。
优势:数据仓库一步成型,规划思路明确,数据存放有条理,对日后业务的开展可进行快速响应。
劣势:整合所有数据源耗时长、人力、物力、财力投入大,对于完成整体数据仓库之后有利用不上的可能,造成资产浪费。
自底向上搭建
这种搭建方法,是针对业务分析主题而去逐步整合用户数据源的过程,当企业发展到某一阶段需要对某项业务主题进行分析时,可以通过此种方法整合所涉及的数据源,已达成数据分析利用的目的。
优势:有针对性的整合数据源,目标明确,能够有效的避免资源浪费,缩小项目范围,大大提高项目成功率并能充分利用,缩短项目周期,效果立竿见影。
劣势:分布实施使得总体项目周期延长,当遇到突发业务变化时,局部整合的数据源有可能不能支持业务的需要,应变能力有所不足。
三、数据中心搭建具体流程(架构角度)
对于数据中心的搭建流程,从架构角度出发会涉及数据源整合ETL、ODS或DWH搭建、多维分析模型建立、数据展现平台搭建、Protal门户的搭建。不论是选择哪种方式进行数据中心搭建,都需遵从以下步骤。
1、数据源整合ETL
对于现有业务数据源进行整合。有可能当前分析主题只涉及一个数据源,即使如此也许进行ETL过程。
首先,搭建数据仓库或数据集市不应直接使用原有业务数据库,这样既不高效也不安全,数据格式还不统一。其次,数据源的数据质量不能保证,其中有可能存在重复数据、脏数据等问题,在进行数据分析过程时,这些因素是必须要去掉的。
所以,进行数据源的整合步骤时,不论是涉及一个还是多个数据源,操作原
理是一样的,此过程为必要过程。
2、ODS或DWH搭建
ODS(OperationalDataStore)操作型数据存储,是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。
DWH(Datawarehouse)数据仓库,是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。
搭建此层级的目的很明确,为分析主题提供数据支持。有了DWH或ODS+DWH
后,就可在此层级之上进行数据建模、展现等工作。
3、多维分析模型建立
作为商业智能领域的核心,多维建模可以说是非常重要的一个环节。在这个环节中的维度设计、指标划分、度量等多方面的考虑,直接影响数据利用的效率和可实现的功能结果。
在建立多维模型前,需要与最终用户进行需求分析,明确用户想要的,并明
确能实现的是哪些。将需求工作做好,以免日后项目功能不达标。
4、数据展现平台搭建
在这个展现平台上包含了决策支持服务层、信息发布服务层、数据展现服务
层和联机分析服务层等。对于商业智能的表现手段来说,可以是多种多样的。通过仪表板、平衡记分卡、图表、报表等多种手段进行展现;
使用上钻、下钻、钻透等方式来辅助使用者利用数据信息;
通过预设好的数据模型,用户可以自主的进行自定义报表的制定,完成这一
切只需要简单的拖、拉、拽操作,便于使用。
5、Protal门户的搭建
作为整个数据利用的最后一层,担负的责任最为重大,直接将界面呈现给最终用户,一般情况下会使用B/S结构,通过浏览器进行展现,如其中涉及了一些特殊控件时,可能会通过浏览器调用一个本地应用来支持完成。
当然,通过Protal对用户进行安全验证和权限控制也是另外一个很重要的原因,当不同的用户登录后,会验证在不同的用户组中,登录之后展现的界面也是有所差异的,这样就使数据利用系统有一个统一的展现界面,关心不同问题的用户等够有所划分的看到不同展现。
四、数据中心搭建具体流程(项目角度)
对于数据中心的搭建流程,从项目角度出发会涉及前期调研阶段、需求分析阶段、设计阶段、开发阶段、系统测试阶段、用户测试阶段、上线阶段、结项阶段。
1、前期调研阶段
在此阶段中,需要大致明确用户需求,对用户环境进行调研,如让用户填写调查问卷等。如采用招标流程,需要仔细研究标书内容,确定工作范围,并能保证功能满足用户需求。
此段时间一般不超过2周工作日,细致的用户调研会安排在需求分析阶段。
2、需求阶段
在签订项目合同之后,正式进入项目阶段,需求分析阶段主要是明确用户的需求,将可实现与不可实现的列出,将需求分析落实在纸面上,并双方确认达成共识,在确认之后发生的变化,统一划分为需求变更处理。
按照项目规定完成时间,此阶段占用时间根据对用户环境、系统和需求的了解程度而制定,如对上述都不了解,则应放宽需求阶段时间,以确保项目最终能够达成用户需求,减少不必要的项目变更。
3、设计阶段
在设阶段会涉及模型设计、用户界面设计、数据模型验证和原型演示功能设计等。
模型设计中会包括元数据与CUBE设计;
用户界面设计中包括Protal部分设计、报表等其他功能设计;
Coding部分编写;
将设计总结为完整的设计报告,提交项目小组。
此阶段需要用户进行配合,进行阶段性成果物确认及设计方案确认。当出现
与用户不一致时,及时进行讨论,以免有所偏差。
4、开发阶段
开发阶段将会按照前期的设计部分执行,设计Protal开发(主要为客户化需求制定)、前端展现部分开发、CUBE部分开发和ETL部分开发。
由于项目属于BI项目,所以编写代码部分较少,在Protal部分及前端展现部分会涉及到一些开发,其余属于所见即所得式开发。
在开发阶段基本不需要用户进行配合,每周进行项目周报进度提交即可。
5、系统测试阶段
进入系统测试阶段后,开发部分已经基本结束,由开发团队进行系统测试。
开发团队中将安排专职负责系统测试人员,通过黑盒、白盒等模式进行测试,
主要涉及功能实现、数据比对、性能测试、排查bug等工作,并提交完整的测试报告。
此部分如无重大开发失误,则耗时较短。
6、用户测试阶段
经过系统测试阶段后,最终用户可进行实际测试,查看否符合项目预期,此
时在理论上应不存在功能和设计上的缺陷,主要是实际数据加载后的性能测试。
7、上线阶段
通过两轮测试之后,系统正式进入上线阶段,此时主要为收集实际用户使用反馈情况,记录系统正式上线后的性能等。
对最终用户进行系统操作培训,提交相关使用文档。
8、结项阶段
举行项目庆祝会。
提供完善的项目售后服务。
总结项目得失,如有后期工程,开始进行准备后期项目。
五、分布搭建规划
作为一个企业构筑数据中心是一项庞大而复杂的项目,想一蹴而就能够很快
的呈现出一个完美的数据中心系统是不现实的,我们在这里为了能够化繁为简、逐步深入,将数据中心项目分成了三期工程来实现,这样做的好处是能够快速的体验的数据中心的价值,将项目时间划分为段落,缩短单个项目时间和范围,便于项目的整体把控和开展。
对于用户能够减少首次投入,减小项目风险,在项目的实施过程中不断的完
善自己的想法,整理出一套适合自身企业的度量标准。
1、一期任务和目标
一期的主要任务如下图:
平
台
搭
建
期
关键业务系统导入
供应、库存、销售统一视图
统一维度和指标体系
基本指标建立
制式报表
常用报表
专用业务分析报表
综合报表