第四讲 概率密度估计.ppt

第四讲:概率密度函数的估计(一)顾明亮2011年3月1内容提要?引言?参数估计的方法?高斯分布参数估计?混合高斯分布参数估计2一、引言?问题形式的变化?本章学习的主要内容?参数估计的基本方法3问题一已知:(1)样本总的类别数;(2)各样本类别的先验概率;(3)测量值的类条件概率;(4)样本特征矢量。求:给定样本特征矢量所属的类别1ii???,,2,,C??iP???|iP x????1 2, , ,Tdx x x x???4求解方法(1)????????1( | )|( )| |, 1, 2, ,i ijp x PxP xx P xi j C? ??? ????? ???iii()最小错误率贝叶斯准则 (i)计算后验概率: P (ii)根据后验概率确定所属的类别:如果P,,j i则:x5求解方法(2)????????????1|| , || | , , 1, 2, , ,Ci j jjjxx P xx R x i j C j i?? ????? ????? ?????iiii(2)最小风险贝叶斯准则 (i)计算后验概率:P (ii)计算条件期望损失: R (iii)根据风险大小决定所属的类别:如果:R则:x6问题二已知:(1)样本总的类别数;(2)各样本类别的先验概率;(3)类条件概率的分布形式及参数值;(如:正态分布及均值和协方差)(4)样本特征矢量。求:给定样本特征矢量所属的类别??iP?1ii???,,2,,C??1 2, , ,Tdx x x x???7求解方法??1 )2 | )|3xx??????iii()计算条件概率:P(x|()计算后验概率:P((或计算条件期望损失:R)()根据最小错误贝叶斯准则决策或根据最小风险贝叶斯准则决策8问题三—本讲拟解决的问题已知:(1)样本总的类别数;(2)若干训练样本特征矢量及其对应的类别()(3)样本所服从的统计分布函数但参数未知(如:正态分布,但均值与协方差矩阵未知)(4)测试样本特征矢量:求:给定样本特征矢量所属的类别??1 2, , ,Tdx x x x???1ii???,,2,,C1{ }x? ? ??2 N,x,,x??1 2{ 1N il l l i?? ?? ?i,,,,l,,2,,C}9本章学习内容????????iP?? ??i(1)如何利用给定的样本集估计参数(如:正态分布的均值和协方差)(2)利用估计的参数计算p x|和(3)讨论估计量的性质(有偏估计还是无偏估计、方差或均方误差如何?)(4)利用样本集直接估计错误率的方法10