大数据,您如何选择?假如你是一个商品零售公司的老板。 你的公司很先进,已经实现了业务信息化,每一笔销售单据都保存在数据库中,日积月累,已经保存了十余年的销售数据,上亿条销售记录。 这时如果我问你:“反正三年前的数据留着也白白占地方,耗费存储成本,索性把它们全删掉吧,这样不用买硬盘就能容纳新数据,如何?” 你会从容的接受我这个建议吗? 我们的直觉告诉我们:这些数据有用! 但这仅仅是一种直觉,到底该怎样把这些占据大量存储空间的数据的价值挖掘出来,让这些数据从成本的消耗者变成利润的促进者?BI闪亮登场没错,(BusinessIntelligence)是一种运用了数据仓库、在线分析和数据挖掘等技术来处理和分析数据的崭新技术,目的是为企业决策者提供决策支持。BI应用的两大类别是信息类应用DW(数据仓库)和知识类应用KDD(数据挖掘)。BI是种技术,。BI应用行业行业分布银行、通信、证券、保险、能源、烟草工厂、矿场、医疗卫生零售、快消品电子商务、电子政务使用特点目前大部分用户主要集中在信息类应用,即数据查询+报表展示+OLAP分析的合理,其主要目的即减轻手工报表制作的压力,(金融,通信,能源):*复杂表样:中国的表样设计思想与西方不同,西方报表倾向于仅用一张报表说明一个问题,而中国的报表倾向于将尽可能多的问题集中在一张报表中,这种思路直接导致了中国报表的复杂格式和诡异风格,同时导致在国外大受欢迎的水晶报表水土不服。*大数据量:中国是世界上人口最多的国家。以中国移动公司为例,仅我国一个省的用户数量,就相当于欧洲一个中等国家的人口,是真正的海量数据!国外数据库、数据仓库和BI应用软件,都在中国经受着大数据量承载能力的考验。*数据回写:中国是世界上对BI系统要求最奇特的国家。本来BI系统是以忠实再现源数据为原则,但这个原则在中国遇到了难题,许多领导都提出了数据修改需求。笔者曾经经历,挨骂颇多。BI应用分类信息类BI应用(数据仓库)知识类BI应用(数据挖掘)报表&图表&地图&中国式报表数据挖掘—探察数据规律自助样式报表数据挖掘—数据建模&预测多维联机分析(OLAP)BI实现过程后端(ETL)前端(报表开发)源数据分析与探索Portal建设ODS建设模型与报表开发DW(数据仓库)OLAP分析(CUBE建设)DM(数据集市)DM(数据挖掘)BI实现过程=前端+后端=源数据+ODS+DW+DM+OLAP+Report+DMBI实施开发常用工具实施过程工具源数据分析与探索SQL脚本ETLInformatica(PWC),DataStage,DTS/SSIS,Kettle,Beeload,ODI数据同步(源->ODS)Informatica(PWX),GoldenGateODS&DW&DM(关系型)MSSQL,Oracle,DB2其他(MYSQL,Teradata)数据质量管理Informatica(IDQ)报表开发工具SAPBO,COGNOS,水晶报表/易表,OBIEE,Brio,QlikView,SASSmartbi,POWER-BI,FinereportSpagoBI ,OpenIOLAP开发工具Cognos(Powerplay)、Hyperion(Essbase)、微软(AnalysisService)以及MicroStrategy报表开发组件FusionCharts,JFreeChart,MsChartPortal开发语言(平台)JAVA,.NET,PHP…数据挖掘工具SAS,SPSSClementine,MATLAB…BI架构图-1 -无ODSBI架构图-2元数据组成(Metadata)业务系统到数据仓库数据仓库数据展现工具ETLTargetDatabaseFront-EndToolETL人事销售库存财务RDBMSODS/ESS、SQLSERVER、ORACLE、DB2TERADATA、GREENPLUM、MYSQL平面文件(Flatfile)EXCEL、TXTXML、HTML其他数据COBOLFILESAPORACLEEBS相关概念:OLTP,(异构源与目标的ETL)(业务元数据,技术元数据)
bi相关知识介绍 来自淘豆网m.daumloan.com转载请标明出处.
