结合经验贝叶斯的极大似然方法.pdf

第卷第期经济数学
年月
结合经验贝叶斯的极大似然方法
廖远遨
上海财经大学经济学院,上海,
摘要极大似然方法和贝叶斯方法是两种截然不同的统计方法,各有优缺点由于统计思想的不兼容,一
般不结合起来使用本文根据统计学习理论的思想提出一种将两者结合使用的新方法,可以综合两者的优
点,并以方差多变点问题为例给出了新的估计方法
关健词经验贝叶斯方法,极大似然方法,统计学习理论
极大似然方法及优缺点
极大似然方法是传统统计学的主要方法之一它的基本思想很简单一般地,设总体具
有分布密度族王,任日,其中夕,,夕,⋯,氏是一个未知的足维参数向量,需待估
计又设,⋯,。是子样,,⋯,。的观测值,那么子样,⋯,。落在点,⋯,。
的邻域里的概率是且、、·由此可见,的变化会影响到‘,的、的变化也就是
说,概率且、‘是夕的函数极大似然方法就是选取使得子样落在观测值,,⋯,,的
邻域里的概率的达到最大值的参数值夕作为目的估计值,即对固定的,,⋯,
。,选取夕使得
月,如,臀、。‘
从直观上讲,既然在一次试验中得到了观测值,⋯,。,那么可以认为子样落在,,⋯,。
的邻域里这一事件是较易发生的,具有较大的概率所以就应该选取使这一概率达到最大的参
数值作为真参数值的估计为方便起见,记
口要‘夕
称为的似然函数如果选取使下式
五乡夕
成立的叙作为目的估计,则称叔是夕的极大似然估计
极大似然方法在大样本情形有很好的渐进性质在一般性条件下,当样本数一时,依
收稿日期一一
眼
嗜
卜
蛋
卜
、
第期廖远致结合经验贝叶斯的极大似然方法
概率趋近于存在一致性解七,且必渐进于正态分布,留一‘,其中,的么
一“,鱼罢苏兰厂’但’一极队大、似‘仍”然“方‘法’“也存,‘在一一些一缺,、”点、’一它“只、能’一适‘用’“于非‘”常‘有’‘’限一的‘密一度一函一数一集,‘很’一容一易一
找出极大似然方法无法求解的密度函数另一个缺点是不容易处理多余参数在实际应用中,
很少有关于数据的概率结构仅仅包含感兴趣的参数,通常需要把多余参数价包含进去,此时
的似然函数是内皇夕,力如何为了对感兴趣的参数进行统计推断而消除多余
参数对于极大似然方法特别困难
贝叶斯方法及优缺点
贝叶斯方法的基本思想可以用贝叶斯公式也叫条件概率公式加以说明粮据贝叶斯公
式,两个事件和通过下面的公式联系起来


尸
我们可以用这个公式来修改参数估计的极大似然方法传统的极大似然方法把参数看成是常
量,通过求似然函数的极大值来确定参数的估计值而贝叶斯方法把参数看成是具有某种先验
分布的随机变量,结合样本数据后得到该参数的后验分布,然后根据参数的后验分布推断参
数具体地说,对参数的每一个值,似然函数的被写成了参数的条件函数如
果参数的先验分布是参数,那么根据贝叶斯公式,参数的后验分布为
夕今夕
而,二一,二,夕,“,因为,二,是一个由样本确定的比例常数,为了应用方便,通常把
式写成
夕沈夕夕
有了后验分布后,再利用贝叶斯风险最小原则就可以进行贝叶斯统计推断利用以上模型进行
统计推断,方法简洁明了首先它容易处理多余参数上面说过处理多余参数对于极大似然方
法特