极大似然估计.docx

极大似然估计极大似然估计是非线性模型中非常重要的一种估计方法。最小二乘法是极大似然估计在线性模型中的特例。似然函数假设随机变量xt的概率密度函数为f(xt),其参数用θ=(q1,q2,…,qk)表示,则对于一组固定的参数θ来说,xt的每一个值都与一定的概率相联系。即给定参数θ,随机变量xt的概率密度函数为f(xt)。相反若参数θ未知,当得到观测值xt后,把概率密度函数看作给定xt的参数θ的函数,这即是似然函数。L(θ|xt)=f(xt|θ)似然函数L(θ|xt)与概率密度函数f(xt|θ)的表达形式相同。所不同的是在f(xt|θ)中参数θ是已知的,xt是未知的;而在L(θ|xt)中xt是已知的观测值,参数θ是未知的。对于n个独立的观测值x=(x1,x2,…,xn),其联合概率密度函数为其对应的似然函数为:经常使用的是对数似然函数,即对L(θ|xt)取自然对数:LnL(θ|xt)=log[f(xt|θ)],(i=1,2,…,n)是相互独立的,且服从正态分布N(m,s2)。存在N个独立的观测值x=(x1,x2,…,xn)。xi的似然函数为=其中,f表示标准正态分布的概率密度函数,xi的对数似然函数为:其中,(x1,x2,…,xn)的联合似然函数为=,有N个样本观测值(x1,x2,…,xN)。每个随机变量的概率密度函数,即似然函数为:其对数似然函数为由于每个观测值都是独立的,,即估计那些使得样本(x1,x2,…,xn))出现的概率最大的参数。=(x1,x2,…,xn),xi~N(m,s2)(i=1,2,…,n)。根据前面推导的(x1,x2,…,xn)的联合似然函数:两个一阶条件分别为可以求出未知参数的估计量分别为,。未知参数l要使得观测到这N个值得概率最大,即令上述对数似然函数对l的偏导数等于0。”。。设回归模型为y=xβ+u,ui~NIID(0,s2)。由yi~N(xiβ,s2),得yi的似然函数是yi的对数似然函数为若yi是相互独立的,则(y1,y2,…,yn)的对数似然函数为极大化似然函数,两个一阶条件为解上述方程可得;。另外一种常见的方便推导方法是利用集中对数似然函数(concentratedlog-likelihood)。由对数似然函数的第二个一阶条件可得:。将其带入对数似然函数便得到了集中对数似然函数根据一阶条件可得ML估计量。实际上,最大化极大似然函数等价于最小化残差平方和。因此,在误差项服从正态分布的假定下,β的极大似然估计量与LS估计量完全相同。ML方法与LS方法对回归方差的估计量不同,ML估计量是有偏的。但后面将会看到,当误差项服不服从正态分布时,β的ML估计量与LS估计量是不一样的,ML估计量比LS估计量渐进有效。ML估计量的统计特征ML估计方法的盛行在于其估计量的优良的大样本(或渐进)特征。在一定的正则条件下,ML估计量具有如下特征(正则条件及详细证明请参见Greene(2000))。设DGP的真实参数值为θ0,ML估计量为。具有如下特征。一致性:渐进正态性:,其中,渐进有效性:的方差达到Cramer-Rao下界。Cramer-Rao下界:如果yi的概率密度函数满足正则条件,那么,所有一致渐进正态估计量的方差下限为不变性:如果函数f,如果f连续且连续可微,那么f(θ0)的ML估计量为f()。似然函数的导数矩对于随机变量yi,其概率密度函数为f(y,q)。在一定的正则条件下,似然函数的导数具有如下特征。,都是随机变量的随机抽样。这意味着,如果样本是独立抽样的,那么gi与gj不相关,Hi与Hj也不相关。似然函数的一阶导数称为梯度向量(Gradientvector):也称为得分向量(scorevector)。对于N个观测值、K个参数,则gi为k´1向量。将gi构成的矩阵G=[g1’,g2’,..,gn’]’(N´k)称为梯度向量的贡献矩阵。梯度向量g的每个元素为矩阵G的各列的和。似然函数的二阶导数称为海赛矩阵(HessianMatrix):对于N个观测值、K个参数,则H为k´k向量。将Hi(k´k)称为海塞矩阵的贡献矩阵。海赛矩阵H的每个元素为所有矩阵Hi的和。比如,在线性回归模型中,b包含k个参数,加上标准差s,共k+1个参数。矩阵G的前k列的第i行第j列元素为最后一列的元素为方差矩阵的估计方法由渐进公式