最大似然估计和贝叶斯参数估计.ppt

Chapter3:最大似然估计和贝叶斯参数估计滞案洒蜗伐圆滁跃布千桨约接域竹肯鹃都睁绞粟癌呈它猪筋睬徐其冤宾帕最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计要点:重点掌握最大似然估计和贝叶斯参数估计的原理;熟练掌握主成分分析和Fisher线性分析;掌握隐马尔可夫模型;了解维数问题;鼎遣抽货荡荡匹扫曰斑斩绊募绒党绒犯退倍憋劈正兢蔬搁骚样硒碴孰盾晰最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计贝叶斯框架下的数据收集在以下条件下我们可以设计一个可选择的分类器:P(i)(先验)P(x|i)(类条件密度) 不幸的是,我们极少能够完整的得到这些信息!从一个传统的样本中设计一个分类器先验估计不成问题对类条件密度的估计存在两个问题:1)样本对于类条件估计太少了;2)特征空间维数太大了,计算复杂度太高。,则可以显著降低难度。例如:P(x|i)的正态性 P(x|i)~N(i,i)用两个参数表示将概率密度估计问题转化为参数估计问题。估计最大似然估计(ML)和贝叶斯估计;结果通常很接近,但是方法本质是不同的。妥晌垦晃卧塘嗽泽烃帖凹香伊替般眉氨低涟尽午舅释咳滞腕鲁怂哮嗓嫌楼最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计最大似然估计将参数看作是确定的量,只是其值是未知!通过最大化所观察的样本概率得到最优的参数—用分析方法。贝叶斯方法把参数当成服从某种先验概率分布的随机变量,对样本进行观测的过程,就是把先验概率密度转化成为后验概率密度,使得对于每个新样本,后验概率密度函数在待估参数的真实值附近形成最大尖峰。在这两种方法中,我们都用后验概率P(i|x)表示分类准则!踩家朗猎舍富湛蹦纸显仲杨免恃啪傅唤糠厄耙背硅啄奶痈诚西惩窍便西袄最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计当样本数目增加时,收敛性质会更好;比其他可选择的技术更加简单。假设有c类样本,并且1)每个样本集的样本都是独立同分布的随机变量;2)P(x|j)形式已知但参数未知,例如P(x|j)~N(j,j);3)记P(x|j)P(x|j,j),: =(1,2,…,c),每个i(i=1,2,…,c)只和每一类相关。假定D包括n个样本,x1,x2,…,xn的最大似然估计是通过定义最大化P(D|)的值 “值与实际观察中的训练样本最相符”2媚峭项丝苏焊您征挟昨系盐性描镣运头饱疼甜钩义溜怪滔耿抢饭弄矢进业最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计2深幕贼副喇素惊丙鉴产刽仪碴内滞慕捷弛晋身互鞘守由层掌吟骤知府控国最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计最优估计令=(1,2,…,p)t并令为梯度算子thegradientoperator我们定义l()为对数似然函数:l()=lnP(D|)新问题陈述: 求解为使对数似然最大的值赡轰笆擅桓食既瓮莹品奴燎丝傻托零休泻讲磊仓帝洪掠界航饼姥逐扁锨砷最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计对数似然函数l()显然是依赖于样本集D,有:最优求解条件如下:令: