模式识别总结.doc

模式识别总结.doc监督学习与非监督学习的区别:监督学习方法用來对数据实现分类,分类规则通过训练获得。该训练集山带分类号的数据集组成,因此监怦学习方法的训练过程是离线的。非监督学习方法不需耍单独的离线训练过程,也没有带分类号(标号)的训练数据集,-•般川来对数据集进行分析,如聚类,确定其分布的主分量等。(实例:道路图)就道路图像的分割而言,监督学习方法则先在训练用图像中获取道路彖索与非道路彖索集,进行分类器设计,然后用所设计的分类器对道路图像进行分割。使川非监怦学习方法,则依据道路路面象索与非道路象索之间的聚类分析进行聚类运算,以实现道路图像的分割。1、写出K-均值聚类算法的基本步骤,算法:第一步:选K个初始聚类中心,zMl),Z2(l),…,zMl),其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定,例如可选开始的K个模式样木的向量值作为初始聚类屮心。第二步:逐个将需分类的模式样本{x}按最小距离准则分配给K个聚类中心中的某一个z.(l)。假设匸j时,Dj(k)=mi训x_Zi(k)|,i=l,2,・・・K},则xeSj(k),其中k为迭代运算的次序号,第一次迭代k=l,S」表示笫j个聚类,其聚类中心为Zj。第三步:计算各个聚类中心的新的向量值,Zj(k+1),j=l,2,…,KZj(/:+1)=—-工x,j=l,2,・・・,K求各聚类域中所包含样木的均值向量:其中N为第j个聚类域所包含的样本个数。以均值向量作为新的聚类中心,Jj=工卜一勺伙+1);j=l,2,・・・,KxeSj(k)可使如下聚类准则函数最小:在这一步中耍分别计算K个聚类中的样本均值向量,所以称之为K-均值算法。第四步:若Zj(k+1)HZj(k),j二1,2,…,K,则返回第二步,将模式样本逐个重新分类,重复迭代运算;若Zj(k+1)=Zj(k),j=l,2,…,K,则算法收敛,计算结束。线性分类器三种最优准则:Fisher准则:max wT^hW根拯两类样本一般类内密集,类间分离的特点,寻找线性分w WSuW类器最佳的法线向暈方向,使两类样本在该方向上的投影满足类内尽可能密集,类间尽可能分开。该种度暈通过类内离散矩阵Sw和类间离散矩阵Sb实现。感知准则函数:准则函数以使错分类样本到分界而距离Z和最小为原则。其优点是通过错分类样木提供的信息对分类器两数进行修正,这种准则是人工神经元网络多层感知器的基础。支持向量机:基木思想是在两类线性可分条件下,所设计的分类器界面使两类之间的间隔为最大,它的基木出发点是使期型泛化风险尽可能小。写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。两类别问题:判别函数gl(x)=dJx)+A12p(u)2|x)g2(x)=入21P(3」X)+A22p(go2|x)决策面方程:gi(x)=g2(x)c类别问题:判别函数cgi(x)=》tipglx),i=1,…,cj=i决策面方程:gi(x)=gj(x),iaji=l,・・・,cj=1,…,c什么是特征选择?.什么是Fisher线性判别?答:。Fisher线性判别:可以考虑把d维空间的样本投影到一条直线上,形成一维空间,即把维数压缩到一维,这在数学上容易办到,然而,即使样本在d维空间里形成若干紧凑的互相分得开的