（完整版）机器学习7周志华.pptx

（完整版）机器学习7周志华.pptx七、贝叶斯分类器.,.,1贝叶斯决策论(Bayesiandecisiontheory)概率框架下实施决策的基本理论给定N个类别,令λij代表将第j类样本误分类为第i类所产生的损失,则基于后验概率将样本x分到第i类的条件风险为:贝叶斯判定准则(Bayesdecisionrule):•h*称为贝叶斯最优分类器(Bayesoptimalclassifier),其总体风险称为贝叶斯 风险(Bayesrisk)•反映了学习性能的理论上限.,.,2判别式(discriminative)模型生成式(generative)模型建模思路:直接对代表: •决策树 •BP神经网络 •,机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率 两种基本策略:思路:先对联合概率分布建模,再由此获得代表:贝叶斯分类器 注意:贝叶斯分类器≠贝叶斯学习(Bayesianlearning).,.,3贝叶斯定理根据贝叶斯定理,有先验概率(prior) 样本空间中各类样本所占的 比例,可通过各类样本出现 的频率估计(大数定律)证据(evidence)因子,与类别无关ThomasBayes (1701?-1761)样本相对于类标记的类条件概率(class-conditionalprobability),亦称似然(likelihood)主要困难在于估计似然.,.,4极大似然估计 先假设某种概率分布形式,再基于训练样例对参数进行估计假定具有确定的概率分布形式,且被参数唯一确定,则任务就是利用训练集D来估计参数 对于训练集D中第c类样本组成的集合Dc的似然(likelihood)为连乘易造成下溢,因此通常使用对数似然(log-likelihood)于是,的极大似然估计为估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实分布.,.,5朴素贝叶斯分类器(naïveBayesclassifier)主要障碍:所有属性上的联合概率难以从有限训练样本估计获得组合爆炸;样本稀疏基本思路:假定属性相互独立? d为属性数,xi为x在第i个属性上的取值 对所有类别相同,于是.,.,6朴素贝叶斯分类器 估计P(c): 估计P(x|c):•对离散属性,令表示Dc中在第i个属性上取值为xi的样本组成的集合,则•对连续属性,考虑概率密度函数,假定.,.,7拉普拉斯修正(Laplaciancorrection)若某个属性值在训练集中没有与某个类同时出现过,则直接计算会出现问题,因为概率连乘将“抹去”其他属性提供的信息例如,若训练集中未出现“敲声=清脆”的好瓜, 则模型在遇到“敲声=清脆”的测试样本时…… 令N表示训练集D中可能的类别数,Ni表示第i个属性可能的取值数假设了属性值与类别的均匀分布,这是额外引入的bias.,.,8朴素贝叶斯分类器的使用若对预测速度要求高预计算所有概率估值,使用时“查表”若数据更替频繁不进行任何训练,收到预测请求时再估值(懒惰学习,lazylearning)若数据不断增加基于现有估值,对新样本涉及的概率估值进行修正(增量学习,incrementallearning).,.,9半朴素贝叶斯分类器 朴素贝叶斯分类器的“属性独立性假设”在现实中往往难以成立 半朴素贝叶斯分类器(semi-naïveBayesclassifier) 基本思路:适当考虑一部分属性间的相互依赖信息最常用策略:独依赖估计(One-DependentEstimator,ODE)假设每个属性在类别之外最多仅依赖一个其他属性 xi的“父属性” 关键是如何确定父属性.,.,10