EM算法及其改进在混合模型参数估计中的应用研究.pdf

长安大学硕士学位论文申请学位级别塑±学科名称叁煎焦垒兰壅垒焦塑论文提交日期塑堕:
摘要有限混合模型是分析复杂现象的一个灵活而强有力的建模工具,它提供了用简单结构模拟复杂密度的一个有效方法,给出了模拟同质性和异质性的一个自然导了有限混合高斯分布的算法,并针对其收敛速度慢的缺点设计了一种有效选取参数初始值的方法,数值实验表明,该方法有助于算法以较快的速度在优解,这是因为它本质上是一个迭代算法,只能保证达到局部最优,而遗传算法具有强大的全局搜索能力,因此,本文将采用遗传算法来改进算法,提出一算法T谇懊优分支数是未知的,所以为混合模型选择一个最优分支数是一个相当重要又困难的问题。≡褡钣欧种男畔⒆荚颉2捎肊惴ê鸵糯惴ɑ旌算法的种群极大地拓展了算法的搜索空间,有效地降低了基本算法对初始值的依赖程度,改善了其收敛到局部最大值的缺陷。数值实验也表明,算法不仅继承了算法的单调收敛性,对模型参数初始值也更加稳健:在惴ǹ朔薊惴ㄑ≡褡钣欧种恼仿驶崴孀欧种脑黾佣框架和半参数结构。算法为有限混合模型的极大似然估计提供了一个标准框架。本文简单推参数真值附近收敛。算法思想简单,易于实现。但是,算法往往获得的只是一个局部最种以遗传算法为主、结合迭代算法的混合算法碐的研究中,我们总是提前定义一个混合模型的分支数,但在大多实际应用中,最编程的目的是为了更好地利用两种算法各自的优点,基于随机搜索优化技术遗传同样的迭代终止条件下,算法能够得到比算法更好的怠速降低的缺陷。关键字:混合模型,极大似然估计,算法,最优分支数,遗传算法。
緀疵口咖“抽⌒瞗袄鷇酷咖珑嫘瞘踊尽癿鷈啪册膇&托加齣叩瑃【∞瑃縪∞.’農.’.—:龋,瑆..:瓻痵.’琲,瓵瑃瑆琣甌.,緇,琭盯瑃,.:觤,琽,九
导师签名:砌盼论文作者签名:照学牟龟论文作者签名:望辱辂加石日加厂年/月∥日硼辍肚日论支知识产仅仅属声明论支嗷纠佳声明本人声明:本人所呈交的学位论文是在导师的指导下,独立进行研究工作所取得的成果。除论文中已经注明引用的内容外,对论文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开发表的成本声明的法律责任由本人承担。本人在导师指导下所完成的论文及相关的职务作品,知识产权归属学校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时,署名单位仍然为长安大学。C艿穆畚脑诮饷芎笥ψ袷卮斯娑果。
第一章研究背景有限混合模型的研究现状识提供了有力的工具。聚类分析就是其中的核心技术之一它为数据挖掘预处理数据提供了有力的支持。目前聚类分析已成为数据挖掘领域的重要研究课题之一。择方法。通过建模可以推理数据中的潜在规律,如果把数据想象为由一个潜在的概率函数产生,那么可以用概率混合模型来描述和建模数据。有限混合模型是以在实践中,如果现象是由若干随机因素的某一个蚣父所引起,则可考分支数大于保P途陀卸喔龀煞郑从沉嘶旌鲜莸囊熘市浴行的建模环境。这样以来它既兼备了参数模型的解析优势又有非参数模型的灵活法,秞数的解析公式~般不可获得。即使对混合密度,方法也得不到混合在信息与数据膨胀的今天,数据挖掘技术为人类挖掘数据中隐藏的信息和知基于模型的聚类方法是数据挖掘中聚类分析的一种重要方法,这种方法主要有两类:统计学方法和神经网络方法。对于数据的描述,建模是一种比较好的选概率统计为基础的分析数据的工具,它不但灵活而且功能强大,已在统计学和模式识别中得到了广泛的应用【”。它的最有特色的应用就是用有限混合分布模型聚类,除此之外还可用它进行密度估计和判别分析等。虑建立混合模型来研究这一复杂现象。实践证明,无论是对但变量还是多变量数据,有限混合模型都是一个灵活而强有力的概率分析数据工具,其有效性已在许多领域得到了普遍的认可,主要表现在以下几个方面:捎昧思虻ソ峁鼓D飧丛咏峁沟姆椒ā峁┝艘桓瞿D馔市院鸵熘市允莸姆椒ā5蹦P头种扔时,混合分布芏总体是一个单一的分布芏,因而数据是同质的。当被旌媳淞渴课粗J保旌夏P驮诓问蚣苣谝蔡峁┝艘桓龇浅?性,可以看成是半参数模型,因而有更多的建模优势。在众多文献中,有许多方法被用来估计混合密度的参数,如矩方,椒ḿ癇方法。然而,有限混合模型参
比例、分支均值和方差的值㈣。直到年等人提⋯了计算不完全算法简介数据的极大似然估计的算法⋯,并给出了混合模型的不完全数据结构,方一般的混合模型的研究中存在着两大难题:第一是怎样估计混合模型的参数:第二是混合模型分支数的确定。对于第~个问题,极大似然方法仍然是混合模型的有效的参数估计方法,随着计算机性能的提高,算法为极大似然估计算法的变体算法