BI相关知识介绍.ppt

大数据,您如何选择?
假如你是一个商品零售公司的老板。    你的公司很先进,已经实现了业务信息化,每一笔销售单据都保存在数据库中,日积月累,已经保存了十余年的销售数据,上亿条销售记录。     这时如果我问你:“反正三年前的数据留着也白白占地方,耗费存储成本,索性把它们全删掉吧,这样不用买硬盘就能容纳新数据,如何?”     你会从容的接受我这个建议吗?         我们的直觉告诉我们:这些数据有用!      但这仅仅是一种直觉,到底该怎样把这些占据大量存储空间的数据的价值挖掘出来,让这些数据从成本的消耗者变成利润的促进者?
BI闪亮登场
没错,选择BI来实现.
BI(Business Intelligence) 是一种运用了数据仓库、在线分析和数据挖掘等技术来处理和分析数据的崭新技术,目的是为企业决策者提供决策支持。
BI 应用的两大类别是信息类应用 DW(数据仓库)和知识类应用KDD(数据挖掘) 。
BI是种技术,或者说是解决方案. 而不是某种工具。
BI应用行业
行业分布
银行、通信、证券、保险、能源、烟草
工厂、矿场、医疗卫生
零售、快消品
电子商务、电子政务
使用特点
目前大部分用户主要集中在信息类应用,即
数据查询+报表展示+OLAP分析的合理,其主要目的即减
轻手工报表制作的压力,提高工作效率.
少量用户(金融,通信,能源)集中在数据挖掘.
BI国内应用难点
BI 工具在中国遇到的难题:
*复杂表样:中国的表样设计思想与西方不同,西方报表倾向于仅用一张报表说明一个问题,而中国的报表倾向于将尽可能多的问题集中在一张报表中,这种思路直接导致了中国报表的复杂格式和诡异风格,同时导致在国外大受欢迎的水晶报表水土不服。
* 大数据量:中国是世界上人口最多的国家。以中国移动公司为例,仅我国一个省的用户数量,就相当于欧洲一个中等国家的人口,是真正的海量数据!国外数据库、数据仓库和 BI 应用软件,都在中国经受着大数据量承载能力的考验。
* 数据回写:中国是世界上对 BI 系统要求最奇特的国家。本来 BI 系统是以忠实再现源数据为原则,但这个原则在中国遇到了难题,许多领导都提出了数据修改需求。笔者曾经经历,挨骂颇多。
BI应用分类
信息类BI应用(数据仓库)
知识类BI应用(数据挖掘)
报表&图表&地图&中国式报表
数据挖掘—探察数据规律
自助样式报表
数据挖掘—数据建模&预测
多维联机分析(OLAP)
BI实现过程
后端(ETL)
前端(报表开发)
源数据分析与探索
Portal建设
ODS建设
模型与报表开发
DW(数据仓库)
OLAP分析(CUBE建设)
DM(数据集市)
DM(数据挖掘)
BI实现过程
=前端+后端
=源数据+ ODS + DW + DM + OLAP + Report + DM
BI实施开发常用工具
实施过程
工具
源数据分析与探索
SQL脚本
ETL
Informatica(PWC),DataStage,DTS/SSIS,Kettle, Beeload,ODI
数据同步(源->ODS)
Informatica(PWX), GoldenGate
ODS&DW&DM(关系型)
MS SQL, Oracle,DB2 其他(MYSQL, Teradata)
数据质量管理
Informatica(IDQ)
报表开发工具
SAP BO,COGNOS,水晶报表/易表,OBIEE,Brio, QlikView,SAS
Smartbi, POWER-BI, Finereport
SpagoBI , OpenI
OLAP开发工具
Cognos(Powerplay)、Hyperion (Essbase)、微软(Analysis Service)以及MicroStrategy
报表开发组件
FusionCharts,JFreeChart, MsChart
Portal开发语言(平台)
JAVA, .NET, PHP…
数据挖掘工具
SAS, SPSS Clementine, MATLAB…
BI架构图-1 -无ODS
BI架构图-2
元数据组成(Meta data)
业务系统到数据仓库数据仓库数据展现工具
ETL Target Database Front-End Tool
ETL
人事
销售
库存
财务
RDBMS
ODS/Staging Area
RDBMS
数据仓库
数据集市
企业经营
分析
客户关系
管理
业务流程
分析
财务分析
Metadata
外部系统
Statistics
Clustering
s
Artificial
Intelligenc