模式识别导论-支持向量机ppt课件.ppt

SupportVectorMachine-支持向量机简介报告概览系统辨识和模式识别问题一般描述及存在问题统计学习理论基本思想支持向量机算法线性可分近似线性可分非线性可分SVM软件包故障诊断中的应用报告概览弗拉基米尔·万普尼克,VladimirNaumovichVapnik,俄罗斯统计学家、数学家。他是统计学习理论(StatisticalLearningTheory)的主要创建人之一,该理论也被称作VC理论(VapnikChervonenkistheory)。1958年,硕士学位,1964年,他于莫斯科的控制科学学院获得博士学位。在该校工作到1990年。1995年,他被伦敦大学聘为计算机与统计科学专业的教授。1991至2001年间,他工作于AT&T贝尔实验室(后来的香农实验室),并和同事发明了支持向量机理论。他们为机器学习的许多方法奠定了理论基础。2002年,他工作于新泽西州普林斯顿的NEC实验室。他同时是哥伦比亚大学的特聘教授。2006年,他成为美国国家工程院院士。万普尼克是支持向量机的机器学习Vapnik–Chervonenkis理论的联合创建人,他获得了众多奖项。如今则成为了Facebook人工智能实验室的成员。系统辨识和模式识别问题一般描述系统(S)输入x输出y从给定的函数集Ω中选择出能够最好地逼近系统响应的函数ω系统辨识和模式识别问题一般描述已知:n个观测样本,(x1,y1),(x2,y2)……(xn,yn)求:最优函数y=f(x,w),这个函数系统辨识中称为辨识模型,模式识别问题中称为分类器。满足条件:期望风险最小损失函数模式识别问题回归问题期望风险R(w)要依赖联合概率F(x,y)的信息,实际问题中无法计算。一般用经验风险Remp(w)代替期望风险R(w)现存问题经验风险最小不等于期望风险最小,。从概率论中的大数定律可知:经验风险只有在样本数无穷大趋近于期望风险,需要非常多的样本才能保证学习机的性能。某些情况下,当经验风险过小时,推广能力反而下降,这就是神经网络中令人头疼的所谓过学习(overfitting)问题。使经验风险最小的点与期望风险最小的点并非同一个点Remp和R的关系举例