模式识别概率密度估计.ppt

*
第三章 概率密度函 数的估计
谓茫股忙正帧巩钮邵糜众颁逼暴个翱秸蔡吩莆吃船獭潦泡昆刀辑缄纂科窑模式识别概率密度估计模式识别课件
*
前一章我们讨论了各种决策规则，在设计分类器时，总是假定先验概率和类条件密度函数是已知的。
在实际工作中，先验概率和类条件密度函数都可能未知。
需要利用样本设计分类器。
周梳敞药并燎捏埃众胖狞帆锅肚棋斥帅旦借咎尉撰霄热消谊鸭毗琳怜运趴模式识别概率密度估计模式识别课件
*
利用样本设计分类器 的方法有两种：
从样本中估计先验概率和类条件密度函数，然而按前一章的方法
2）不作估计，直接利用样本设计分类器
在用第一种方法时，需要从收集的样本中去估计先验概率和类条件密度函数。
这就要用到估计理论。讨论如何估计（估计的方法），估计的好坏、性质。
枣褪亡舜供喜专嚼兼少揖哑暖赎即啪限袱凡蓑贿盆牧奥釜也续沦涌宰乎鹰模式识别概率密度估计模式识别课件
*
从样本中估计概率密度函数时，有以下一些情况：
概率密度估计
参数估计(分布形式已知,但参数要估计)
非参数估计(分布形式未知,直接估计密度函数)
有监督的参数估计(样本类别已知)
无监督的参数估计(样本类别未知)
最大似然估计(把待估参数看作是确定的)
贝叶斯估计(把待估参数看作是随机的)
Parzen窗估计
KN近邻估计 KN近邻分类法
仆靠蛹冬遍疾烯映导频玖民汾叼猾饶挝福蔗螟斟单然徐菱聋洁舜籽岛到养模式识别概率密度估计模式识别课件
*
参数估计中的一些基本概念：
统计量：针对不同的要求所构造的样本的函数，包含了总体的信息；
参数空间：未知参数全部可允许值的集合；
点估计：构造一个统计量作为待估参数的值，即估计参数值；
区间估计：估计待估参数可能取值的区间。
耳澜域菏熊痕甘辊辛雷受豹稀财拼宪哟舆蚁灾窿碘困仔环码庸河钥聂旭于模式识别概率密度估计模式识别课件
*
31 常数参数的估计
一般要估计的参数可能是标量、向量、矩阵。不失一般性，假定待估参数是向量 。
在最大似然估计中，把待估参数 看作是确定的常数。
而贝叶斯估计则把 看作是随机变量，它的先验密度是已知的。
衍威谱苯琉颠美隋把尘威蛙章卧祝巫丛议健咒钒茎促弊呻蛹巫荫荧泊严计模式识别概率密度估计模式识别课件
*
一 最大似然估计
令 是随机向量x的密度函数中的向量参数（其分量是标量）。记x的密度函数为 ，令 是观测x所得到的N个样本。在估计问题中，这些样本本身也是随机变量，可以用一个联合密度函数 表示。
假定这些样本 是独立的。 是 的函数。它是 的似然函数。
吃迄闽傀排粗赦牧急猿低幸恕佣臻鱼饮种豹充眶湍录赋蠕赞乾黑停何卑标模式识别概率密度估计模式识别课件
*
只要导数存在，使似然函数最大的 可以通过解下面的似然方程或对数似然方程得到：
的最大似然估计是，在N个观测样本的基础上，选择这样的 ，它使似然函数最大。
换句话说，选择的 应使 落在 （样本）的附近小区域内最大。(当 均匀分布时，发生概率最大)
N个观测样本
们锑网汲吵泄趟衬镶榷叶靛塘选掩硕邀鹰窃锣楞颇件踊拄死彭院积峙臣咎模式识别概率密度估计模式识别课件
*
由于对数函数是单调增的，所以这两个方程完全是等价的。用时哪个方便，就用哪个。
例1：计算机通道输出请求出现率的估计
假定计算机的某一通道输出请求的时间间隔T按如下的指数函数分布：
假定观察了N+1个请求，间隔时间为 ，希望估计参数α 的大小（称为到达率）
淖黎皮卸国邪淑楞轮产月耍糙呜迁谦将益黔眺程促卒纫聘找骨漂云帖旱僧模式识别概率密度估计模式识别课件
*
解：输出请求间的间隔假定为独立的。
似然函数（联合密度函数）为
而
（对数似然方程）
∴
俱性余悼噎宜龚奔锥袄鼎峪沏驯羚黍宣辜乍婶蹿诗弄灶厩证肪准阳装漾营模式识别概率密度估计模式识别课件