数据仓库的结构和技术介绍.ppt

数据仓库的结构和技术介绍目录数据仓库和数据库的对比数据仓库的体系结构数据仓库的参照结构数据挖掘概述知识挖掘系统的体系结构OLAP技术介绍数据分析模型概述数据仓库与数据库的对比对比内容数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序、重复处理面向主题域、管理决策分析应用数据特性动态变化、按字段更新静态、不能直接更新、只定时添加数据结构高度结构化、复杂、适合操作计算简单、适合分析使用频率高中到低数据访问量每个事务只访问少量记录有的事务可能要访问大量记录对响应时间的要求以秒为单位计量以秒、分钟、甚至小时为计量单位OLTP与OLAP的比较OLAP所用数据来自OLTP数据库􀂾进行了预综合和多维化处理􀂾OLAP更强调界面的可视化和灵活性􀂾可视化:多维报表,各种统计图形,…􀂾灵活性:切片、切块、旋转;逐层细化,…OLAP&OLTP的主要区别(1)不同的性能需求联机事务处理(OLTP):􀂙快速的相应时间非常重要(<1second)􀂙在任何时候,数据随时更新,必须保持数据的一致性和完整性􀂾联机分析处理(OLAP):􀂙查询可能耗费大量的资源􀂙可能使得CPUs和磁盘处于紧张的工作状态􀂙操作通常基于某一个时间点的静态的数据“快照”􀂾OLAP与OLTP必须实现环境分离􀂙OLAP可能导致OLTP系统性能的降低,甚至崩溃􀂾例如:􀂙分析查询需要计算所有的销售量􀂙为保证数据的一致性,防止脏数据的读出,对销售表进行“加锁”􀂙新的销售事务无法提交OLAP&OLTP的主要区别(2)不同的数据建模需求联机事务处理(OLTP):􀂙为保证数据的一致性,需要设计规范化的模式􀂙复杂的数据模型,包含大量的数据表􀂙查询和修改操作相对比较受限􀂾联机分析处理(OLAP):􀂙简单的数据模型非常重要􀂾允许业务人员执行各类即席查询􀂙通常采用非规范化的模型􀂾更少的连接操作→提高查询性能􀂾更少的数据表→易于理解数据模式OLAP&OLTP的主要区别(3)分析需要综合多个不同的数据源OLTP系统主要服务于某一个特定的应用系统例如:在线商场的订单管理系统􀂾OLAP需要集成多个不同的数据源􀂙包含销售、订单、采购等􀂾OLAP包含历史数据􀂙确定长时间范围内的一些模式􀂙发现一段时间内的变化情况􀂾数据集成是OLAP系统的重点之一数据仓库的体系结构数据仓库的概念结构从数据仓库的概念结构看,应该包含:数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。数据源业务系统外部数据源数据准备区数据仓库数据库应用工具管理工具数据集市/知识挖掘库应用工具数据集市/虚拟数据仓库利用描述了业务系统中数据位置和抽取数据算法的元数据直接从业务系统中抽取查询的数据进行概括、聚合操作后,数据集市结构或称为主题结构的数据仓库是按照主题进行构思所形成的数据仓库,没有一个独立的数据仓库。系统的数据不存储在同一数据仓库中,每个主题有自己的物理存储区。