概率密度函数估计.ppt

第三章概率密度函数的估计
引言
最大似然估计(Maximum Likelihood Estimation)
贝叶斯估计和贝叶斯学习
概率密度估计的非参数方法
本章主要内容介绍
引言
贝叶斯决策: 已知和,对未知样本分类(设计分类器)
实际问题: 已知一定数目的样本,对未知样本分类(设计分类器)
 
怎么办? 一种很自然的想法:
首先根据样本估计和,记和
然后用估计的概率密度设计贝叶斯分类器。
——(基于样本的)两步贝叶斯决策
引言
希望:当样本数时,如此得到的分类器收敛于理论上的最优解。
为此, 需

重要前提:
训练样本的分布能代表样本的真实分布,
有充分的训练样本
本章讨论内容: 如何利用样本集估计概率密度函数?
估计概率密度的两种基本方法:
参数方法(parametric methods)
非参数方法(nonparametric methods)
不假定数学模型,直接用已知类别的学习样本的先验知识直
接估计数学模型。

监督学习:在已知类别样本指导下的学习和训练,
参数估计和非参数估计都属于监督学习。
无监督学习:不知道样本类别,只知道样本的某些
信息去估计,如:聚类分析。
引言
基本概念
 
参数估计(parametric estimation):
已知概率密度函数的形式,只是其中几个参数未知,目标是根据样本估计这些参数的值。
几个名词:
统计量(statistics):样本的某种函数,用来作为对某参数的估计
参数空间(parametric space):待估计参数的取值空间
估计量(estimation):
最大似然估计(Maximum Likelihood Estimation)
假设条件:
①参数是确定的未知量,(不是随机量)
②各类样本集, 中的样本都是从密度为的总体中独立抽取出来的,(独立同分布,.)
③具有某种确定的函数形式,只其参数未知
④各类样本只包含本类分布的信息
其中,参数通常是向量,比如一维正态分布,未知参数可能是
,此时可写成或。
2
最大似然估计(Maximum Likelihood Estimation)
鉴于上述假设,我们可以只考虑一类样本,记已知样本为
似然函数(likelihood function)
——在参数下观测到样本集的概率(联合分布)密度
 基本思想:
如果在参数下最大,则应是“最可能”的参数值,它是样本集的函数,记作。称作最大似然估计量。
为了便于分析,还可以定义对数似然函数。
最大似然估计(Maximum Likelihood Estimation)
求解:
若似然函数满足连续、可微的条件,则最大似然估计量就是方程
或
的解(必要条件)。
  若未知参数不止一个,即,记梯度算子
则最大似然估计量的必要条件由S个方程组成: