大数据分析算法em算法最大期望算法.ppt

大数据分析算法EM算法最大期望算法
食堂的大师傅炒了一份菜，要等分成两份给两个人吃
——显然没有必要拿来天平一点一点的准确的去称分量， 最简单的方法是先随意的把菜分到两个碗中，然后观察是 否一样多，把比较多的那一份取出一点放到另一个碗中， 这个过程一直迭代地执行下去，直到大家看不出两个碗所 容纳的菜有什么分量上的不同为止
EM算法就是这样，假设我们估计知道A和B两个参数，在 开场状态下二者都是未知的，并且知道了A的信息就可以 得到B的信息，反过来知道了B也就得到了A。可以考虑首 先赋予A某种初值，以此得到B的估计值，然后从B的当前 值出发，重新估计A的取值，这个过程一直持续到收敛为 止。
16:54:10
2
EM算法
 最大期望算法〔Expectation-maximization algorithm，又译期望最大化算法〕在统计中被 用于寻找，依赖于不可观察的隐性变量的概率 模型中，参数的最大似然估计。
 在统计计算中，最大期望算法是在概率模型中 寻找参数最大似然估计或者最大后验估计的算 法，其中概率模型依赖于无法观测的隐藏变量。 最大期望经常用在机器学习和计算机视觉的数 据聚类领域。
16:54:11
3
期望值〔EXPECTED VALUE)
 在概率和统计学中，一个随机变量的期望 值是变量的输出值乘以其机率的总和，换 句话说，期望值是该变量输出值的平均数
 如果X是在概率空间〔Ω, P〕中的一个随机
变量，那么它的期望值E[X]的定义是
E[X] = ∫ΩX dP
 离散：E X = 𝑖 𝑝𝑖 𝑥𝑖
 连续：E X
= −∞ 𝑥𝑓 𝑥 𝑑𝑥
∞
16:54:11
4
最大似然估计
某位同学与一位猎人一起外出打猎，一只野兔 从前方窜过．只听一声枪响，野兔应声到下， 如果要你推测，这一发命中的子弹是谁打的？
——你就会想，只发一枪便打中，由于猎人命 中的概率一般大于这位同学命中的概率，看来 这一枪是猎人射中的
16:54:11
5
最大似然估计
 假设我们需要调查我们学校的男生和女生的身高分布。 你在校园里随便地活捉了100个男生和100个女生。男 左女右，首先统计抽样得到的100个男生的身高。假设 他们的身高是服从高斯分布的。但是这个分布的均值u 和方差∂2我们不知道，这两个参数就是我们要估计的。 记作θ=[u, ∂]T。
 数学语言：
在学校那么多男生〔身高〕中，我们独立地按照概率密度 p(x|θ)抽取100了个〔身高〕，组成样本集X，我们想通过样 本集X来估计出未知参数θ。概率密度p(x|θ)我们知道了是高 斯分布N(u,∂)的形式，其中的未知参数是θ=[u, ∂]T。
抽到这100个人的概率：
16:54:11
似然函数：L(𝜽) = L(x1,x2,…xn|𝜽) = 𝒏
𝒑(𝒙𝒊|𝜽)
𝒊=�
6
最大似然估计
 上例中，在学校那么男生中，我一抽就抽到这 100个男生〔表示身高〕，而不是其他人，那 是不是表示在整个学校中，这100个人〔的身 高〕出现的概率最大啊。那么这个概率怎么表 示？哦，就是上面那个似然函数L(θ)。所以， 我们就只需要找到一个参数θ，其对应的似然 函数L(θ)最大，也就是说抽到这100个男生
〔的身高〕概率最大。这个叫做θ的最大似然
估计量
16:54:11
7
最大似然估计
 设总体X是离散型随机变量，其概率函数为 𝑝(𝑥; 𝜃) ，其中𝜃 是未知参数．设X1,X2,…Xn为取自总体X的样本，X1,X2,…Xn 的 联合概率函数为:
 假设样本取值为x1,x2,…xn ，那么事件
{X1 = x1 , X2 = x2,…Xn = xn }发生的概率为 𝒏
𝒑(𝒙𝒊|𝜽)
𝒊=�
 显然上面的概率随𝜃改变而改变，从直观上来讲，既然样本
值x1,x2,…xn出现，即表示其出现的概率相对较大，而使得
𝒏
𝒑(𝒙𝒊; 𝜽)取较大的值，不妨看做𝜃的函数
𝒊=�

16:54:11
似然函数：L(𝜽) = L(x1,x2,…xn|𝜽) = 𝒏
𝒑(𝒙𝒊|𝜽)
𝒊=�
𝒏
𝒑(𝒙𝒊|𝜽) 𝜃为常量， X1,X2,…Xn为变量
𝒊=�
8
最大似然估计
 如何求L(𝜃)最大值？
 考虑到有累乘，不妨取对数，这里是因为lnL函数的单 调性和L函数的单调性一致，因此L(𝜃)的最大值转