信号处理中的em期望最大算法.doc

信号处理中的EM期望最大算法
翻译自《Mathematical Methods and Algorithms for Signal Processing》, Todd K. Moon, Wynn C. Stirling, Pearson, 1999版的17章前两节。
It is no paradox to say that in our most theoretical moods we may be nearest to our most practical applications.
- . Wllilrhecid
期望最大算法是最大似然算法求解遇到直接估计数据不可获得,或者数据丢失的情况。比如得到的数据是一些数据的累积结果,或者一簇数据(比如直方图小区间内概率),或者未知数据的丛集。期望最大(EM)算法非常适合这类数据的处理,给出当多对一映射中参数的最大似然估计值。EM算法分为两步:第一步是期望,接着是最大化。期望是利用当前估计值和观测数据条件对未知变量求期望,而最大化是提供参数的新估计值。这两步迭代直至收敛。
EM算法流程图
EM算法的提出者很多,但是Dempster证明了其收敛性,创造了EM算法这个词。从此,有关EM算法的应用层出不穷。最典型的是遗传学,观测数据是非观测遗传型的函数,还有就是混合分布参数的估计,在经济计量学、临床医学、社会学等研究中得到广泛应用。
在信号处理领域,层析成像重建中的最大似然估计、语音识别中隐形马尔科夫模型训练等方面得到很大发展。其他应用比如参数估计、ARMA模型、信号恢复、模式识别、神经网络训练、噪声抵消、信号增强、时间延迟估计、序列检测等等。
例子:下面一个例子可很好地解释,比如图像模式识别问题,有两组物体需要辨别,一类黑色,一类亮色。黑色的可以继续按照形状分为圆形和方形。我们希望获得黑色物体的概率。设向量为图像三种模式随机向量,分别是圆形黑色、方形黑色和亮色,此向量满足三项分布
(1)
这里,。我们假设依据某些知识把上式概率模型写为
(2)
这里只有一个未知参数。
又由于限制因素,我们只能观测到黑色和亮色,不能观测形状,那么这时设向量,这是一个多对一的映射。我们就是从这不完备的数据中预测参数。那么符合二项式分布
(3)
这是因为
(4)
下面就是求
(5)
这直接的估计并不好求,EM算法的最主要的思想就是即使我们不知道的具体值,利用分布我们依然可以进行估计,这里是由初始参数估计来的,然后代入对于最大化,然后再对于进行期望求解,直至收敛。
下面重要的任务就是如何由初始参数求解,这里是求其条件期望值。那么需要先求出其条件概率
(6)
由上述条件概率,我们得到的条件期望值
(7)
同理
(8)
那么我们的迭代过程如下,给定观测值和,初值,进行
E-step: (9)
(10)
M-step:利用E-step中的估计值和,代入到假设的,对其进行最大似然估计得到,上述问题就是
(与无关)(11)
Matlab程序如下:
% Illustration of example em putations
% Copyright 1999 by Todd