模式识别-第九章-支持向量机.ppt

模式识别-第九章-支持向量机52202661支持向量机：Support Vector Machine, SVM
§ 用广义线性识别函数作分类识别（边书P85）
建立输入向量X∈Rn 的一个函数族{φi(X)},i=1,2,…,N
把输入向量X映射到一个高维特征空间
在该高维空间设计线性分类器（求分类超平面）
§ 支持向量机（SVM）（边书P296-304）
1
广义线性识别函数举例（边书P86）
高次多项式（2个特征值、2次多项式）
广义线性识别函数
取X的适当的函数族
使原来的非线性函数，具有线性的表达式，例如
设
取 构成一个对于Z的N 维空间
称作广义线性识别函数
2
广义线性识别函数具体例子
线性识别函数不存在
把2维空间
变为3维空间
3
广义线性识别函数具体例子（续1）
作平面
分开
4
广义线性识别函数具体例子（续2）
3维空间中平面
改写成2维形式
用 来使维数上升，对应于原来空间中的高次曲线（面）
常采用各种正交函数族
双曲线
5
广义线性识别函数作分类识别存在的问题
维数灾难
训练样本数量不足（样本数与空间维数的比值）
训练样本过多时的过训练问题
→推广能力差，“经验风险”与“期望风险”不一致
计算复杂性增加快
高维空间处理困难
如何选择函数族，不同函数族结果不同
→实际上使用很困难（在支持向量机SVM之前）
6
线性识别函数、扩展特征向量、扩展权向量（边书P84-87）
线性识别函数
设扩展（增广）特征向量（n+1维）
设扩展（增广）权向量（n+1维）
(齐次)线性识别函数
7
线性识别函数示意图
8
识别函数的几何示意图（边书P84）
原点
P
X
d(X)的值正比于点X到识别平面的距离Dx
9
识别函数的几何示意图（续）
10