最大期望值EM算法学习教案.pptx

会计学
1
最大期望值EM算法(suàn fǎ)
第一页，共25页。
目录(mùlù)
期望(qīwàng)最大化思想
期望(qīwàng)最大化推导
2
第1页/共25页
第二页，共25页。
最大化似然估计(gūjì)
在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。
目的：根据样本值估计参数=>模型=>结果
例如：money= k1*x+k2*y+k3*z
X:面积 y:地段 z:楼层 k:参数 money:房价
根据某一单元的10户房的样本x,y,z,money 。
根据已知10组数据用最大似然法求出k1,k2,，，，得出模型
money = *x+*y+*z
只要(zhǐyào)知道小区里某个房子的面积、地段、楼层=>房价
套用(tàoyòng)模型
3
第2页/共25页
第三页，共25页。
最大化似然估计(gūjì)
4
此表达式不是条件概率，因为此时参数(cānshù)看作变量
第3页/共25页
第四页，共25页。
最大化似然估计(gūjì)
求最大似然函数估计值的一般步骤：
（1）写似然函数；
（2）取对数；
（3）求导数，令导数为0，得到(dé dào)似然方程；
（4）解似然方程，得到(dé dào)的参数即为所求。
5
第4页/共25页
第五页，共25页。
期望(qīwàng)最大化思想
机器学习(xuéxí)十大算法之一——期望最大化算法(EM)
用来干嘛的？——解决参数估计问题
EM很简单，简单在于它的思想，仅包含了两个步骤就能完成强大的功能；（E步骤， M步骤）
EM又很复杂，复杂在于它的数学推理涉及到比较繁杂的概率公式等。（凸函数，琴生不等式，拉格朗日中值定理，贝叶斯，最大似然估计等）
6
第5页/共25页
第六页，共25页。
期望(qīwàng)最大化思想
EM算法是一种有效的迭代过程。
EM
E步骤：根据上一次迭代的参数来计算出隐藏变量的后验概率，其实就是隐藏变量的期望。=> p(θ|x)值 =>p( z |x,θ)
M步骤：将似然函数最大化以获得新的参数值。估计(gūjì)的模型参数使得观察的数据出现概率是最大的。=> 更新θ值
EM算法有很多的应用，最广泛的就是clustering、GMM、HMM等等。
7
第6页/共25页
第七页，共25页。
期望(qīwàng)最大化思想
K-means聚类例子
期望步（E-步）：给定当前的簇中心，每个对象都被指派到簇中心离该对象最近(zuìjìn)的簇，期望每个对象都属于最近(zuìjìn)的簇。
最大化步（M-步）：对于每个簇，算法调整其中心，使得到该新中心的距离之和最小化。将指派到一个簇的对象的相似度最大化。
8
第7页/共25页
第八页，共25页。
期望(qīwàng)最大化思想
GMM混合高斯模型(móxíng)例子：
班上学生的身高就是一个GMM混合高斯模型(móxíng)，由男生身高的高斯分布和女生身高的高斯分布组成。
估计每个样例是男生还是女生=>分别估计均值和方差。
9
第8页/共25页
第九页，共25页。
期望(qīwàng)最大化思想
N
Y
10
利用(lìyòng)当前参数值计算数据j
由第i个类生成的概率
收敛(shōuliǎn)？
最后参数值
第9页/共25页
第十页，共25页。