LMSE-(H-K)算法.doc

H-K算法
H-K算法是求解Xw=b,式中b=( b1, b2, …, bn)T,b的所有分量都是正值。这里要同时计算w和b,我们已知X不是N*N的方阵,通常是行多于列的N*(n+1)阶的长方阵,属于超定方程,因此一般情况下,Xw=b没有唯一确定解,但可求其线性最小二乘解。
设Xw=b的线性最小二乘解为w*,即使||Xw*-b||=极小
采用梯度法,定义准则函数:
当Xw=b的条件满足时,J达到最小值。由于上式中包括的项为两个数量方差的和,且我们将使其最小化,因此也称之为最小均方误差算法。
使函数J同时对变量w和b求最小。对于w的梯度为:
使,得XT(Xw-b)=0,从而XTXw=XTb。因为XTX为(n+1)*(n+1)阶方阵,因此可求得解:
w = (XTX)-1XTb = X#b
这里X#= (XTX)-1XT称为X的伪逆,X是N*(n+1)阶的长方阵。
由上式可知,只要求出b即可求得w。利用梯度法可求得b的迭代公式为:
根据上述约束条件,在每次迭代中,b(k)的全部分量只能是正值。由J的准则函数式,J也是正值,因此,当取校正增量C为正值时,为保证每次迭代中的b(k)都是正值,应使为非正值。在此条件下,准则函数J的微分为:
该式满足以下条件:
若[Xw(k) – b(k)] > 0,则
若[Xw(k) – b(k)] < 0,则
由b的迭代式和微分,有:
b(k+1) = b(k) + δb(k)
δb(k) = C[Xw(k) – b(k) + | Xw(k) – b(k)|]
将此式代入w=X#b,有:
w(k+1) = X#b(k+1) = X#[b(k) +δb(k)] = w(k) + X#δb(k)
为简化起见,令e(k) = Xw(k) – b(k),可得H-K算法的迭