第四章线性判别函数
李文杰
主讲内容
引言
Fisher线性判别
感知准则函数
广义线性判别函数
线性判别函数的基本概念
设计线性判别函数
的主要步骤
感知准则函数
及其梯度下降算法
几个基本概念
最小错分样本数准则
解线性不等式的共轭梯度法
解线性不等式的搜索法
引言
本章内容的目的意义
贝叶斯决策方法的一般步骤
概率密度函数估计的实际困难
利用样本直接设计分类器
线性判别函数的一般做法
简单的函数形式,参数待定
根据设计要求提出准则函数,优化求解
线性判别函数的分类性能
“次优”
简单易实现,计算量及存储量小
线性判别函数的基本概念
一般表达式
式中x是d维特征向量,又称样本向量,w称为权向量,
分别表示为
w0是一个常数(阈值权)对于两类问题的线性分类器可以采用下述决策规则:
令
方程个g(x)=0定义了一个决策面,它把归类于类的点与归类于的点分割开来,当个g(x)为线性函数时,这个决策免便是超平面。
假设都在决策面H上,则有
说明w与超平面H正交,为其法向量。
决策面正侧、负侧
g(x)可看作点到超平面距离的一种代数度量
点到超平面距离(4-6)
原点到超平面距离
w0的正负决定超平面相对原点的位置
超平面的确定
权向量决定方向
阈值权确定位置
判别函数正比于点到超平面的代数距离(带正负)
超平面正负侧对应不同类别
小结
广义线性判别函数
线性判别函数是形式最为简单的判别函数,但是它不能用于复杂情况。
例:设计一个一维分类器,使其功能为:
显然,没有任何一个线性判别函数能解决这个划分问题
说明线性判别函数不适用于非凸决策区域和多联通区域的划分问题。
从左图知,如果建立一个二次判别函数
则能很好解决。
决策规则是:
二次函数的一般形式:
如果适当选取x→y的映射,则可把二次判别函数化为y的线性函数
g(x)称为广义线性判别函数,a叫做广义权向量。
按照上述原理,任何非线性函数g(x)用级数展开成高次多项式后,
都可转化成线性来处理。遗憾的是,经过这种变化,维数大大增加
了,这将出现“维数灾难”。但若把式(4-1)定义的线性判别函数写
成如下形式
其中
线性判别函数 边肇祺 来自淘豆网m.daumloan.com转载请标明出处.
