第四讲概率密度估计.ppt

第四讲概率密度估计
第1页，此课件共43页哦
内容提要
引言
参数估计的方法
高斯分布参数估计
混合高斯分布参数估计
第2页，此课件共43页哦
一、引言
问题形式的变化
本章学习的主要内容
参数估计的基本方法
第3第四讲概率密度估计
第1页，此课件共43页哦
内容提要
引言
参数估计的方法
高斯分布参数估计
混合高斯分布参数估计
第2页，此课件共43页哦
一、引言
问题形式的变化
本章学习的主要内容
参数估计的基本方法
第3页，此课件共43页哦
问题一
已知：
（1）样本总的类别数；
（2）各样本类别的先验概率；
（3）测量值的类条件概率；
（4）样本特征矢量。
求：给定样本特征矢量所属的类别
第4页，此课件共43页哦
求解方法（1）
第5页，此课件共43页哦
求解方法（2）
第6页，此课件共43页哦
问题二
已知：
（1）样本总的类别数；
（2）各样本类别的先验概率；
（3）类条件概率的分布形式及参数值；
（如：正态分布及均值和协方差）
（4）样本特征矢量。
求：给定样本特征矢量所属的类别
第7页，此课件共43页哦
求解方法
第8页，此课件共43页哦
问题三—本讲拟解决的问题
已知：
（1）样本总的类别数；
（2）若干训练样本特征矢量及其对应的类别
（ ）
（3）样本所服从的统计分布函数但参数未知
（如：正态分布，但均值与协方差矩阵未知）
（4）测试样本特征矢量：
求：给定样本特征矢量所属的类别
第9页，此课件共43页哦
本章学习内容
第10页，此课件共43页哦
参数估计的分类
监督参数估计
（已知样本的特征矢量及类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后决策。）
非监督参数估计
（已知样本的特征矢量没有告诉样本的类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后进行决策。）
非参数估计
（不去估计概率，直接根据已有训练样本提供的类别信息进行分类决策）
第11页，此课件共43页哦
二、未知概率密度函数估计
参数估计的概念
参数估计的方法
最大似然参数估计 (Maximum Likelihood Parameter Estimation)
最大后验概率估计 (Maximum A Posteriori Probability Estimation)
贝叶斯推理 (Bayesian Inference)
最大熵估计 (Maximum Entropy Estimation)
第12页，此课件共43页哦
基本概念（1）
统计量：样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，即针对不同要求构造出样本的某种函数，这种函数在统计学上叫做统计量。
参数空间：在参数估计中，总是假定总体概率密度函数的形式已知，但分布中的参数未知，这些未知参数全部可容许的取值集合叫做参数空间。
第13页，此课件共43页哦
基本概念（2）
点估计、估计量和估计值：
第14页，此课件共43页哦
基本概念（3）
两点假设
第15页，此课件共43页哦
最大似然估计
第16页，此课件共43页哦
第17页，此课件共43页哦
举例：正态分布函数的参数估计
第18页，此课件共43页哦
结论
第19页，此课件共43页哦
讨论
ML估计是渐近无偏估计（asymptotically unbiased)
ML估计也是渐近一致估计(asymptotically consistent)
ML估计是渐近有效的。满足Cramer-Rao准则
ML估计当N趋近无穷大时，接近Gaussian 分布。
第20页，此课件共43页哦
最大后验概率估计
第21页，此课件共43页哦
与ML的区别
第22页，此课件共43页哦
举例
第23页，此课件共43页哦
第24页，此课件共43页哦
说明
方差很大，说明高斯分布很宽，在某个范围内可近似为水平直线，即趋于均匀分布。所以MAP估计和ML估计两者近似相等。
第25页，此课件共43页哦
贝叶斯推理
前提变化：原来假定估计量是确定的但未知。现在假定估计量是随机变量且未知。
第26页，此课件共43页哦
讨论
第27页，此课件共43页哦
三 高斯分布参数估计的改进
第28页，此课件共43页哦
问题的提出
第29页，此课件共43页哦
解决办法（1）
第30页，此课件共43页哦
解决办法（2）
正则化判别分析