概率密度函数估计.ppt

门太学
第三章概率密度函数的估计
内容介绍

( Maximum like ihood est imat on


贝叶斯决策:已知P(o)和p(xl@),对未知样本分类(设计分类器
实际问题
已知一定数目的样本,对未知样本分类(设计分类器)
怎么办?
一种很自然的想法
■首先根据样本估计p(xm)和P(o),记pxla)和P(a)
■然后用估计的概率密度设计贝叶斯分类器。
(基于样本的)两步贝叶斯决策
希望:当样本数N→∞时,如此得到的分类器收敛于理论上的最优解。
为此,需
P(rloi->p(rIo)
P(
P(1)
重要前提:
训练样本的分布能代表样本的真实分布,所谓id条件
有充分的训练样本
本章讨论内容:如何利用样本集估计概率密度函数?
估计概率密度的两种基本方法
参数方法( arametric methods)
非参数方法( nonparametric methods)
不假定数学模型,直接用已知类别的学习样本的先验知识直
接估计数学模型。
监督学习与无监督学习
监督学习:在已知类别样本指导下的学习和训练,
参数估计和非参数估计都属于监督学习。
无监督学习:不知道样本类别,只知道样本的某些
信息去估计,如:聚类分析。
基本概念
参数估计( parametric estimation)
●已知概率密度函数的形式,只是其中几个参数未知,目标是根据样本
估计这些参数的值。
几个名词:
统计量( statistics):样本的某种函数,用来作为对某参数的估计
参数空间( parametric space):待估计参数的取值空间θ∈e
估计量( estimation):6(x,x,A,xy)
大似然估计 (Maximum Likelihood Estimation)
假设条件
①参数θ是确定的未知量,(不是随机量
②各类样本集x,=1,c中的样本都是从密度为pxa)的总体中独立
抽取出来的,(独立同分布,id
③p(xo)具有某种确定的函数形式,只其参数未知
④各类样本只包含本类分布的信息
其中,参数θ通常是向量,比如一维正态分布N,a),未知参数可能是
此时p(x|a,)可写成p(xo,O,威p(x10,)
FIGURE . The top graph shows several training points in one dimension, known or
assumed to be drawn from a Gaussian of a particular variance, but un known mear
Four of the infinite number of candidate source distributions are shown in dashed
lines. The middle figure shows the likelihood p(Die) as a function of the mean. If we
had a very large number of training points, this likelihood would be very narrow. The
lue that maximizes the likelihood is marked
also maximizes the logarithm of
the likelinooxd-that is, the log-likelihood l(e), shown at the bottom. Note that even
though they look similar, the likelihood p(DI@) is shown as a function of 9 whereas the
conditional density p(xe) is shown as a function of x. Furthermore, as a function of 9.
cance From: Richard O. Duda Peter E. Hart, and David C. Stork. Pattern Classiication
Copyright 2001 by John Wiley& Sans, In
大似然估计 (Maximum Likelihood Estimation)
鉴于上述假设,我们可以只考虑一类样本,记已知