模式识别 总结.ppt

课程内容
第一章引论(2学时)
第二章聚类分析(4学时)
第三章判别域代数界面方程法(4学时)
第四章统计判决与估计(4学时)
第五章统计学习与估计(4学时)
第六章最近邻方法(2学时)
第七章特征提取与选择(2学时)
复习(2学时)
概念
模式识别:确定一个样本的类别属性(模式类)的过程,即把某一样本归属于多个类型中的某个类型。模式分类的过程。
样本(Sample):一个具体的研究(客观)对象。如患者,某人写的一个汉字,一幅图片等。
模式(Pattern):对客体(研究对象)特征的描述(定量的或结构的描述),是取自客观世界的某一样本的测量值的集合(或综合)。
特征(Features):能描述模式特性的量(测量值)。在统计模式识别方法中,通常用一个矢量表示,称之为特征矢量,记为
模式类(Class):具有某些共同特性的模式的集合。
模式识别系统
模式识别系统框图
判决过程
学习过程
分类器训练
分类器
特征提取选择
预处理
模式采集
模式识别方法
统计判决
句法结构
模糊判决
逻辑推理
神经网络
第二章聚类分析
内容:
聚类的基本概念;
相似性测度、类间距离、聚类准则;
简单聚类、层次聚类;
动态聚类。
要求:
重点:相似性测度、K均值聚类和层次聚类算法。
难点:聚类准则函数。
小结
一、影响分类的因数
(1)分类准则;(2)特征量的选择;(3)量纲。
二、模式相似性测度
(一) 距离测度
(1) 欧氏距离
(2) 马氏距离
对坐标系平移、旋转、比例不变。
(二) 相似测度
相关系数(特征矢量的方向)
对坐标系平移、旋转、比例不变。
三、类间距离递推公式
(其中l =p q )
p
q


最近距离
1/2
1/2
0
-1/2
最远距离
1/2
1/2
0
1/2
中间距离
1/2
1/2
-1/4
0
重心距离
np/(np+nq)
nq/(np+nq)
-pq
0
平均距离
np/(np+nq)
nq/(np+nq)
0
0
可变平均距离
(1-)np/(np+nq)
(1-)nq/(np+nq)
<1
0
可变距离
(1- )/2
(1- )/2
<1
0
离差平方和
(nk+np)/(nk+nl)
(nk+nq)/(nk+nl)
-nk/(nk+nl)
0
四、聚类准则函数
评估分类过程或分类结果优劣的准则函数
(一)类内距离准则(误差平方和准则)
式中,nj是j中的样本个数,
加权类内距离准则
式中, 是j内样本间的均方距离。
适用于各类模式呈团状分布的情况。
四、聚类准则函数
(二)类间距离准则
式中, 是总的样本均值矢量,
加权类间距离准则
对于两类问题,可以定义
(三)基于类内类间距离的准则函数
构造能同时使Jwmin和JBmax的准则函数
类内离差矩阵(Scatter Matrix)
总的类内离差矩阵
总的离差矩阵
1
3
4
5
2
类间离差矩阵