数据仓库与数据挖掘.ppt

课程内容简介:第一部分:数据仓库技术数据仓库概念数据仓库设计操作数据存储多维数据模型联机分析处理1课程内容简介:第二部分::以数据库为中心,数据资源组织方式单一。数据处理不断有新需求,从事务处理,批处理到决策分析等,且不同类型的数据处理有不同的处理特点。人们认识到:当数据处理方式发生变化,而数据组织方式并没有改变时,就会出现数据处理方式和数据环境不相适应,从而使得数据处理不能获得理想的结果。结论:以单一的数据组织方式进行组织的数据库,不能满足数据处理多样化的要求,数据仓库技术应运而生。,可分为两大类:操作型处理对数据库联机的日常操作,通常是对一个或一组记录的查询或修改,主要为企业的特定应用服务。它采用实时或在线的方式处理数据库,人们关心的是响应时间,数据的安全性和完整性。,经常要访问大量的历史数据,而很少对数据库进行写操作,除非对数据库进行更新或装入时。人们希望从中获得跟公司经营效益紧密相关的信息。两种不同类型的数据处理存在巨大差异,从应用的对象到数据的结构、内容和用法都不相同。具体表现在:(1)事务处理和分析处理的性能特征不同事务处理环境:用户的行为特点是数据的存取操作频率高,而每次操作处理的时间短。因此系统可以允许多个用户按分时方式使用系统资源,同时保持较短的响应时间。分析处理环境:用户的行为模式与上面完全不同,一个分析处理程序可能要连续运行几个小时,从而消耗大量系统资源。【例】在OLTP系统中,事务的吞吐量比率通常使用每秒钟完成的数据处理数TPS或TPM来表示。在DSS中,吞吐量通常用每小时处理的查询数QPH来表示。这些查询数量庞大,在它完成前,占用绝大部分机器资源。一个OLTP系统即使很大,也不过300GB左右,而一个大型DSS的规模可以轻易达到1TB。(1TB=1000GB)(2)数据集成问题事务处理:目的在于使业务处理自动化,一般只需要与本部门业务相关的当前数据,而对整个企业范围内的集成应用考虑很少。分析处理:需要集成的数据,不仅需要整个企业内部各部门的相关数据,还需要企业外部、竞争对手等处的相关数据。,主要原因:事务处理应用的分散“蜘蛛网”问题数据不一致问题外部数据和非结构化数据10