数据挖掘能做些什么.ppt

数据挖掘能做些什么
主要内容
概念描述
关联规则
分类与预测
聚类
分析方法
概念描述
概念描述(concept description)
概念:对一个包含大量数据的数据集合总体情况的概述。
概念描述(concept description):对含有大量数据的数据集合进行概述性的总结并获得简明、准确的描述。
关联规则
关联规则(Association Rule)
关联规则挖掘就是发现大量数据中项集之间有趣的关联
关联规则挖掘的典型案例:购物篮问题
在商场中拥有大量的商品(项目),如:牛奶、面包等,客户将所购买的商品放入到自己的购物篮中。
通过发现顾客放入购物篮中的不同商品之间的联系,分析顾客的购买习惯。
哪些物品经常被顾客购买?
同一次购买中,哪些商品经常会被一起购买?
一般用户的购买过程中是否存在一定的购买时间序列?
关联规则
基本表示形式:
前提条件⇒结论[支持度, 置信度]
buys(x, “diapers”) ⇒buys(x, “beers”) [%, 66%]
major(x, “CS”) takes(x, “DB”) ⇒grade(x, “A”) [1%, 75%]
具体应用:利润最大化
商品货架设计:更加适合客户的购物路径
货存安排:实现超市的零库存管理
用户分类:提供个性化的服务
分类与预测
分类与预测(Classification and Prediction)
研究已分类资料的特征,分析对象属性,据此建立一个分类函数或分类模型,然后运用该模型计算总结出的数据特征,将其他未经分类或新的数据分派到不同的组中。
预测是根据对象属性、过去的观察值和有关资料对该属性的未来值进行预测,预测使用的技巧主要是回归分析、神经网络方法等。
分类与预测
常用方法
决策树(decision tree)
贝叶斯分类(bayes classification)
人工神经网络(ANN)
K最近邻分类法(k-nearest neighbor classifier)
基于事例的推理(case-based reasoning)
遗传算法(ic algorithm)
粗糙集方法(rough set approach)
模糊集方法(fuzzy set approach)
回归分析(regression analysis)
聚类
聚类分析(Clustering Analysis)
把数据对象的集合分组到不同的聚类中
聚类原则
同一类内的数据尽可能相似
不同类数据尽可能不相似
聚类实际上是一个无导师分类:没有预先给定类别信息
聚类
常用方法
基于划分的聚类分析方法
基于层次的聚类分析方法
基于密度的聚类分析方法
基于网格的聚类分析方法
基于模型的聚类分析方法
分析方法
特异点分析(Outlier Analysis)
与数据的一般行为或模式不一致。多数为噪声或异常数据,常被剔除。
在某些应用中,孤立点数据更有趣,如:银行诈骗,洗黑钱、恐怖行为。
有专门进行孤立点研究的方法与技术。统计方法是占主流,考察数据的分布,用距离来度量。