基于K近邻的支持向量机多模型建模新编.pptx

基于K近邻的支持向量机多模型建模主讲人:刘振 15721534 KNN-SVM 具体建模步骤 K近邻的支持向量机的多模型建模支持向量机多模型建模在化工生产中,软测量技术被广泛用于估计那些由于传感技术或经济成本的限制而不能直接测量得到却又直接影响生产的质量和成本。软测量技术的核心是建立工业过程对象的精确可靠的模型,其最显著的特点是能够通过建立主导变量与辅助变量的数学模型, 进而估计出主导变量的值。因此, 建立软测量模型是软测量技术的重要部分。软测量建模方法主要有两大类,一类是基于过程反应机理的机理建模方法,另一类是基于数据的“黑箱”建模技术,如神经网络建模,支持向量机建模等。通过机理建模方式虽然可以清晰的了解化工过程的本质,但是由于建模过程涉及大量的化工动态学知识和不确定因素,使机理模型的建立十分复杂和困难。支持向量机多模型建模支持向量机( Support Vector Machine , SVM) 作为一种新兴的基于统计学理论的学习机,相对于神经网络的启发式学习方式和实现中带有很大的经验成分相比, SVM 具有更严格的理论和数学基础,可以克服局部最小问题, 解决小样本学习的泛化能力, 不过分依赖样本的数量和质量, 所以它特别适用于解决小样本、非线性、高维数、局部极小点等问题。鉴于化工领域中大部分过程建模数据属于小样本、不适定问题,因此,支持向量机在化工过程建模中得到了广泛的应用。但是, 由于实际工业过程往往具有多变量、非线性、工况范围大等特点, 很难用单个全局模型精确描述。近年来, 一些学者逐渐开始重视对支持向量机多模型的研究与应用。K近邻分类算法 K 近邻法(KNN , k-Nearest Neighbor )是由 C o v e r 和 Ha r t 于 1968 年提出的,其核心思想是如果一个样本在特征空间中的 k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN 方法在类别决策时,只与极少量的相邻样本有关。K近邻分类算法实现步骤 ,对数据进行预处理 ,如 k k的的按距离由大到小的优先级队列,用于存储最近邻训练元组。随机从训练元组中选取 k个元组作为初始的最近邻元组, 分别计算测试元组到这 k个元组的距离,将训练元组标号和距离存入优先级队列 5. 遍历训练元组集,计算当前训练元组与测试元组的距离,将所得距离 L 与优先级队列中的最大距离 Lmax 。若 L>= Lmax ,则舍弃该元组,遍历下一个元组。若 L < Lmax ,删除优先级队列中最大距离的元组,将当前训练元组存入优先级队列。 7. 遍历完毕,计算优先级队列中 k 个元组的多数类,并将其作为测试元组的类别。 8. 测试元组集测试完毕后计算误差率,继续设定不同的 k值重新进行训练,最后取误差率最小的 k 值。K近邻分类算法其优缺点缺点: ; ,影响了准确率; ; 值不好选取; 优点: ,易于理解,易于实现; ,无需重新训练(即重新训练代价低); 3. 对于类域的交叉或重叠较多的待分样本集来说, KNN 方法较其他方法更为适合。 (对象具有多个类别标签),比 SVM 的表现要好。8K近邻分类算法其改进策略 ⑴在使用该算法前对样本的属性进行约简,删除对分类结果影响较小的属性。⑵删除与分类相关不大的样本,在剩下样本中选取一些代表样本作为新的训练样本。⑶通过聚类,将聚类所产生的中心点作为新的训练样本。 ,特征的权重一般根据各个特征在分类中的作用设定。 。 K值的角度通过反复试验调整。 9支持向量机支持向量机(Support Vector Machine , SVM) 是 Corinna Cortes 和 Vapnik 等于 1995 年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。支持向量机为一种小样本学习理论,根据有限样本信息在模型的复杂性和学习能力之间寻求最佳折衷,实现经验风险和置信范围的最小化,从而在统计样本量较少的情况下获得良好的规