数据仓库技术课件.ppt

内容
数据仓库一些特点
数据仓库的架构
Oracle RAC架构
GreenPlum架构
MapReduce的概念
架构比较
风险评估
*
数据仓库技术
*
数据仓库的目前的现状
软件架构
硬件架构
硬软架构又可以分成封闭式和开放式。封闭式硬件架构代表厂商有teradata，其硬件是专属的，必须使用特殊的硬件才能运行。开放式硬件架构的代表有oracle，可以运行在各种硬件上，不过开放和封闭之间的界限也逐步的融合。
*
数据仓库技术
*
数据仓库的目前的现状
*
杭州斯凯网络科技有限公司
*
Greenplum在这两方面取长补短，所提供的该公司的旗舰产品——Greenplum数据引擎就是特别为支持新型数据仓库和大规模分析处理而设计开发的，可以同时支持SQL和MapReduce技术。Greenplum数据引擎对有PB量级数据的大型公司提供数据处理能力。基于Greenplum数据引擎的解决方案的核心优势在于可将原来长达数小时甚至数天的运算时间缩短为几分钟。
*
数据仓库技术
*
数据仓库的软件架构
数据仓库的软件架构选择更加丰富
数据库软件
ETL软件
展现软件
数据挖掘软件
每一种类型里面都具备非常多的选择。
*
杭州斯凯网络科技有限公司
*
*
数据仓库技术
*
ETL约占整个项目的70%
*
杭州斯凯网络科技有限公司
*
ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。
　　ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，
*
数据仓库技术
*
数据仓库的架构设计一些考虑因素
*
杭州斯凯网络科技有限公司
*
。成本永远是企业关心的一个核心问题，特别在如今经济寒冬，更是如此。
。能否高效的处理海量的数据是一个基础要素，搞数据仓库的都知道，数据量永远是一个经常被拿出来讨论的话题。
。能支持线性扩展的系统在计划支撑多年的系统中特别重要，可以非常方便的做出年度预算。
。解决多人协同开发问题。
*
数据仓库技术
*
数据仓库的架构设计一些考虑因素
*
杭州斯凯网络科技有限公司
*
。能否很方便的一目了然的看到整体调度，站在一个非常高的高度来管理各种数据流。
。能否兼容各种异构数据。
。
。
*
数据仓库技术
*
数据仓库的架构类型
*
杭州斯凯网络科技有限公司
*
*
数据仓库技术
*
Oracle数据仓库的架构
*
杭州斯凯网络科技有限公司
*
*
数据仓库技术
*
GreenPlum数据仓库的架构
*
杭州斯凯网络科技有限公司
*
*
数据仓库技术
*