机器学习7周志华.ppt

该【机器学习7周志华 】是由【wyj15108451】上传分享，文档一共【23】页，该文档可以免费在线阅读，需要了解更多关于【机器学习7周志华 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。七、贝叶斯分类器
单击此处添加正文，文字是您思想的提炼，为了演示发布的良好效果，请言简意赅地阐述您的观点。
20XX
贝叶斯决策论
(Bayesian decision theory)
概率框架下实施决策的基本理论
给定 N 个类别，令 λij 代表将第 j 类样本误分类为第 i 类所产生的
损失，则基于后验概率将样本 x 分到第 i 类的条件风险为：
贝叶斯判定准则
(Bayes decision rule)：
• h* 称为 贝叶斯最优分类器(Bayes optimal classifier)，其总体风险称为 贝叶斯
风险 (Bayes risk)
• 反映了 学习性能的理论上限
判别式
(discriminative)
模型
生成式
(generative)
模型
建模
思路：直接对
代表：
• 决策树
• BP 神经网络
• SVM
判别式 vs. 生成式
在现实中通常难以直接获得
从这个角度来看，机器学习所要实现的是基于有限的训练样本
尽可能准确地估计出后验概率
两种基本策略：
思路：先对联合概率分布
建模，再由此获得
代表：贝叶斯分类器
注意：贝叶斯分类器 ≠ 贝叶斯学习
(Bayesian learning)
贝叶斯定理
根据贝叶斯定理，有
先验概率（prior ）
样本空间中各类样本所占的
比例，可通过各类样本出现
的频率估计（大数定律）
证据 (evidence)
因子，与类别无关
Thomas Bayes
(1701?-1761)
样本相对于类标记的 类条
件概率 (class-conditional
probability), 亦称 似然
(likelihood)
主要困难在于估计似然
极大似然估计
先假设某种概率分布形式，再基于训练样例对参数进行估计
假定
具有确定的概率分布形式，且被参数
唯一确定，则
任务就是利用训练集 D 来估计参数
对于训练集 D 中第 c 类样本组成的集合 Dc 的似然(likelihood)为
连乘易造成下溢，因此通常使用对数似然
(log-likelihood)
于是，
的极大似然估计为
估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实分布
朴素贝叶斯分类器
(naïve Bayes classifier)
主要障碍：所有属性上的联合概率
难以从有限训练样本估计获得
组合爆炸；样本稀疏
基本思路：假定属性相互独立？
d 为属性数， xi 为 x 在第 i 个属性上的取值
对所有类别相同，于是
朴素贝叶斯分类器
 估计 P(c):
 估计 P(x|c):
01
• 对离散属性，令
02
表示 Dc 中在第 i 个属性上取值为
03
xi 的样本组成的集合，则
• 对连续属性，考虑概率密度函数，假定
04
拉普拉斯修正
若某个属性值在训练集中没有与某个类同时出现过，则直接计算会出现
问题，因为概率连乘将“抹去”其他属性提供的信息
例如，若训练集中未出现“敲声=清脆”的好瓜，
则模型在遇到“敲声 =清脆”的测试样本时 ……
令 N 表示训练集 D 中可能的类别数，Ni 表示第 i 个属性可能的取值数
假设了属性值与类别的均匀分布，这是额外引入的 bias
单击此处添加小标题
单击此处添加小标题
(Laplacian correction)
朴素贝叶斯分类器的使用
 若对预测速度要求高
 预计算所有概率估值，使用时“查表”
01
 若数据更替频繁
 不进行任何训练，收到预测请求时再估值
02
 若数据不断增加
 基于现有估值，对新样本涉及的概率估值进行修正
03
(懒惰学习 , lazy learning)
(增量学习 , incremental learning)
半朴素贝叶斯分类器
朴素贝叶斯分类器的“属性独立性假设”在现实中往往难以成立
半朴素贝叶斯分类器 (semi-naïve Bayes classifier)
基本思路：适当考虑一部分属性间的相互依赖信息
最常用策略： 独依赖估计
(One-Dependent Estimator, ODE)
假设每个属性在类别之外最多仅依赖一个其他属性
xi 的“父属性”
关键是如何确定父属性
1
2
3
4