数据挖掘教程数据预处理.ppt

数据挖掘教程数据预处理
第1页，共34页，编辑于2022年，星期六
数据预处理
第2页，共34页，编辑于2022年，星期六
为什么要预处理数据？
现实世界的数据是“肮脏的”——数据多了，什么问题都会出现
不完整的：有些数据立方体的构建
数据概化：沿概念分层向上概化
规范化：将数据按比例缩放，使之落入一个小的特定区间
最小－最大规范化
z-score规范化
小数定标规范化
属性构造
通过现有属性构造新的属性，并添加到属性集中；以增加对高维数据的结构的理解和精确度
第15页，共34页，编辑于2022年，星期六
数据变换——规范化
最小－最大规范化
z-score规范化
小数定标规范化
其中，j是使 Max(| |)<1的最小整数
第16页，共34页，编辑于2022年，星期六
数据归约策略
数据仓库中往往存有海量数据，在其上进行复杂的数据分析与挖掘需要很长的时间
数据归约
数据归约可以用来得到数据集的归约表示，它小得多，但可以产生相同的（或几乎相同的）分析结果
数据归约策略
数据立方体聚集
维归约
数据压缩
数值归约
离散化和概念分层产生
用于数据归约的时间不应当超过或“抵消”在归约后的数据上挖掘节省的时间。
第17页，共34页，编辑于2022年，星期六
数据立方体聚集
最底层的方体对应于基本方体
基本方体对应于感兴趣的实体
在数据立方体中存在着不同级别的汇总
数据立方体可以看成方体的格
每个较高层次的抽象将进一步减少结果数据
数据立方体提供了对预计算的汇总数据的快速访问
使用与给定任务相关的最小方体
在可能的情况下，对于汇总数据的查询应当使用数据立方体
第18页，共34页，编辑于2022年，星期六
维归约
通过删除不相干的属性或维减少数据量
属性子集选择
找出最小属性集，使得数据类的概率分布尽可能的接近使用所有属性的原分布
减少出现在发现模式上的属性的数目，使得模式更易于理解
启发式的（探索性的）方法
逐步向前选择
逐步向后删除
向前选择和向后删除相结合
判定归纳树
第19页，共34页，编辑于2022年，星期六
数据压缩
有损压缩 VS. 无损压缩
字符串压缩
有广泛的理论基础和精妙的算法
通常是无损压缩
在解压缩前对字符串的操作非常有限
音频/视频压缩
通常是有损压缩，压缩精度可以递进选择
有时可以在不解压整体数据的情况下，重构某个片断
两种有损数据压缩的方法：小波变换和主要成分分析
第20页，共34页，编辑于2022年，星期六
数值归约
通过选择替代的、较小的数据表示形式来减少数据量
有参方法：使用一个参数模型估计数据，最后只要存储参数即可。
线性回归方法：Y=α+βX
多元回归：线性回归的扩充
对数线性模型：近似离散的多维数据概率分布
无参方法：
直方图
聚类
选样
第21页，共34页，编辑于2022年，星期六
直方图
一种流行的数据归约技术
将某属性的数据划分为不相交的子集，或桶，桶中放置该值的出现频率
桶和属性值的划分规则
等宽
等深
V-最优
MaxDiff
第22页，共34页，编辑于2022年，星期六
聚类
将数据集划分为聚类，然后通过聚类来表示数据集
如果数据可以组成各种不同的聚类，则该技术非常有效，反之如果数据界线模糊，则方法无效
数据可以分层聚类，并被存储在多层索引树中
聚类的定义和算法都有很多选择
第23页，共34页，编辑于2022年，星期六
选样
允许用数据的较小随机样本（子集）表示大的数据集
对数据集D的样本选择：
简单随机选择n个样本，不回放：由D的N个元组中抽取n个样本
简单随机选择n个样本，回放：过程同上，只是元组被抽取后，将被回放，可能再次被抽取
聚类选样：D中元组被分入M个互不相交的聚类中，可在其中的m个聚类上进行简单随机选择（m<M）
分层选样：D被划分为互不相交的“层”，则可通过对每一层的简单随机选样得到D的分层选样
第24页，共34页，编辑于2022年，星期六
选样——SRS
SRSWOR
(简单随机选
样，不回放)
SRSWR
(简单随机选
样，回放)
原始数据
第25页，共34页，编辑于2022年，星期六
选样——聚类/分层选样
原始数据
聚类/分层选样
第26页，共34页，编辑于2022年，星期六
离散化
三种类型的属性值：
名称型——. 无序集合中的值
序数——. 有序集合中的值
连续值——e.