第三章 线性判别分析 非参数判别分类方法.ppt

第三章线性判别分析——非参数判别分类方法
张芳 **********
hhzhangfang@
10/8/2018
1
模式识别——线性判别分析
对于待识别的物理对象如何描述?
假设一个待识别的物理对象用其d个属性观察值描述,称之为d个特征,这组成一个d维的特征向量,而这d维特征所有可能的取值范围则组成了一个d维的特征空间。
例:假设苹果的直径尺寸限定在7-15厘米之间,它们的重量在3-8两之间变化。如果直径长度x用厘米为单位,重量y以两为单位。那么,由x值从7到15,y值从3到8包围的二维空间就是对苹果进行度量的特征空间。
复习:特征向量和特征空间
10/8/2018
2
模式识别——线性判别分析
引言
10/8/2018
3
模式识别——线性判别分析
参数与非参数判别方法的一个重要区别:如何确定判别函数及决策面方程的类别?
基于统计参数的决策分类方法:由样本分布规律决定;
非参数判别方法:预先由设计者确定,然后利用训练样本集提供的信息确定这些函数中的参数。
——两个部分:选择函数类型与确定最佳参数。
引言
10/8/2018
4
模式识别——线性判别分析

本章的思路:利用样本直接设计分类器, 可以避开各类的概率密度函数的估计, 其基本思想就是设定一组判别函数, 并利用样本直接计算判决函数中的有关参数。
引言
10/8/2018
5
模式识别——线性判别分析
掌握非参数判别分类法的原理,与参数判别分类方法的区别。
掌握线性判别函数的形式、几何意义及三分类问题的划分方法。
学习线性分类器的两种典型算法:
以Fisher准则为代表的传统模式识别方法;
以感知准则函数为代表的机器自学习方法。
用近邻法对事物进行分类。
本章重点
10/8/2018
6
模式识别——线性判别分析
线性判别函数
线性分类器
分段线性分类器
近邻分类器
本章小结
习题
本章内容
10/8/2018
7
模式识别——线性判别分析
线性判别函数

本节重点分析线性判别函数的几何意义, 并在此基础上介绍线性分类器设计的方法。
10/8/2018
8
模式识别——线性判别分析
线性判别函数的几何意义
线性判别函数的形式如下:
其中: wi 称为权向量; wi0 称为阈值权。 wi和wi0 的值需根据样本集来确定。线性分类器设计的关键在于确定权向量wi和阈值权wi0。
线性判别函数
R1
R2
10/8/2018
9
模式识别——线性判别分析
1. 两类问题的讨论
在两类情况下,当采用最大判决时,判别函数为: 
若,则判决的;
若,则判决的;
线性判别函数
R1
R2
若,则不作判决或作任意判决(判为任意一类) 。
两类判决区域的分界面为
10/8/2018
10
模式识别——线性判别分析