大数据分析算法_EM算法—最大期望算法资料.pptx

大数据分析算法 EM 算法——最大期望算法食堂的大师傅炒了一份菜,要等分成两份给两个人吃 2——显然没有必要拿来天平一点一点的精确的去称分量, 最简单的办法是先随意的把菜分到两个碗中,然后观察是否一样多,把比较多的那一份取出一点放到另一个碗中, 这个过程一直迭代地执行下去,直到大家看不出两个碗所容纳的菜有什么分量上的不同为止 EM 算法就是这样,假设我们估计知道A和B两个参数,在开始状态下二者都是未知的,并且知道了A的信息就可以得到 B 的信息,反过来知道了B 也就得到了 A 。可以考虑首先赋予A 某种初值,以此得到B 的估计值, 然后从B的当前值出发,重新估计 A 的取值,这个过程一直持续到收敛为止。 1 6:54: 10EM算法 3?最大期望算法( Exp ect ati on-m a xim iza t ion algor i thm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。?在统计计算中,最大期望算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法, 其中概率模型依赖于无法观测的隐藏变量。最大期望经常用在机器学习和计算机视觉的数据聚类领域。 1 6:54: 11期望值( EXPECTED VAL UE) ?在概率和统计学中,一个随机变量的期望值是变量的输出值乘以其机率的总和,换句话说,期望值是该变量输出值的平均数?如果X是在概率空间(Ω,P)中的一个随机变量,那么它的期望值 E[X]的定义是 E[ X]=∫?XdP ?离散: EX= ?连续: EX= ?∞ 4∞ 1 6:54: 11最大似然估计某位同学与一位猎人一起外出打猎, , 野兔应声到下, 如果要你推测,这一发命中的子弹是谁打的? ——你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同学命中的概率,看来这一枪是猎人射中的 1 6:54: 11 5最大似然估计?假设我们需要调查我们学校的男生和女生的身高分布。你在校园里随便地活捉了 100个男生和 100个女生。男左女右,首先统计抽样得到的 100个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值 u 和方差? 2我们不知道,这两个参数就是我们要估计的。记作θ=[u, ?] T。?数学语言: 在学校那么多男生(身高)中,我们独立地按照概率密度 p( x|θ)抽取 1 00 了个(身高),组成样本集X,我们想通过样本集X来估计出未知参数θ。概率密度 p( x|θ)我们知道了是高斯分布 N(u, ?)的形式,其中的未知参数是θ=[u, ?] T。抽到这 100个人的概率: 1 6:54: 11 似然函数:L()= L(x 1,x 2,…x n| )= 6(|) =?最大似然估计 7?上例中, 在学校那么男生中, 我一抽就抽到这 100个男生(表示身高),而不是其他人,那是不是表示在整个学校中,这100个人(的身高)出现的概率最大啊。那么这个概率怎么表示?哦,就是上面那个似然函数 L(θ)。所以, 我们就只需要找到一个参数θ,其对应的似然函数 L(θ)最大,也就是说抽到这100个男生(的身高)概率最大。这个叫做θ的最大似然估计量 1 6:54: 11最大似然估计?设总体 X 是离散型随机变量,其概率函数为(; ) , X 1,X 2,…X n 为取自总体 X 的样本,X 1,X 2,…X n的联合概率函数为: ?若已知样本取值为x 1,x 2,…x n,则事件{X 1=x 1,X 2=x 2,…X n=x n}发生的概率为(|) =??显然上面的概率随改变而改变,从直观上来讲, 既然样本值x 1,x 2,…x n出现,即表示其出现的概率相对较大,而使得(;)取较大的值,不妨看做的函数=?? 1 6:54: 11 似然函数:L()= L(x 1,x 2,…x n| )=(|) =? 8(|)为常量, X 1,X 2,…X n为变量=?最大似然估计?如何求 L()最大值? ?考虑到有累乘,不妨取对数,这里是因为 lnL 函数的单调性和 L 函数的单调性一致,因此 L() 的最大值转换为 lnL ()的最大值= = =?=(|) =??求最值,可转换为求解下面的方程() =? 1 6:54: 11似然方程 9 EXAMPLE 10 ?设某工序生产的产品的不合格率为p,抽n个产品作检验,发现有T个不合格, 试求p的极大似然估计. 分析: 设X是抽查一个产品时的不合格个数,则 X 服从参数的二点分布 b(1,p). 抽查 n个产品,得样本 X 1 ,X 2,…X 3,其观察值为x 1 ,x 2 ,... ,x 3,加入样本有T个不合格,表示 x 1 ,x 2,... ,x 3中有T个取值为