监督学习算法学习笔记(共10页).docx

精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
监督学习
基本概念
监督学习又称为分类专业
精选优质文档-----倾情为你奉上
专心---专注---专业
应用中到底哪个标准更重要取决于这个应用，如果仅用一个指标来衡量分类器的性能，此时常使用F-score：

F-score是查全率和查准率的调和平均值。两个数值的调和平均值更加倾向于两个数当中较小的那个。因此，如果想得到较高的F-score，则p和r都必须很高。
朴素贝叶斯分类
准备知识
条件概率：设A, B是两个事件，且 称为在条件A下发生的条件事件B发生的条件概率。
乘法公式： 设 则有
全概率公式：设随机事件A1，A2，...，An以及 B满足：(1) A1，A2，…，An两两互不相容；(2)或者；(3) (n=1,2,…)，则有，称为全概率公式。
全概率公式的应用：把事件B看作是某一个过程的结果，把A1，A2，…，An看作该过程的若干个原因，根据历史资料，每个原因发生的概率已知（即Pr(Ai)已知），且每一个原因对结果的影响已知（即Pr(B|Ai)已知）则可用全概率公式计算结果发生的概率，即求Pr(B)。
朴素贝叶斯文本分类
贝叶斯公式：设随机事件A1，A2，…，An以及B满足：(1) A1，A2，…，An两两互不相容；(2) 或者；(3) (n=1,2,…)，则，称为贝叶斯公式。
贝叶斯公式的使用：把事件B看作某一过程的结果，把A1，A2，…，An看作该过程的若干原因，根据历史资料，每一原因发生的概率已知（即Pr(An)已知），如果已知事件B已经发生，要求此时是由第i个原因引起的概率，用贝叶斯公式（即求Pr(Ai|B)）。
在贝叶斯分类中，在数据集合D中，令A1,A2,…,A|A|为用离散值表示的属性集合，
精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
设C具有|C|个不同值的类别属性，即c1,c2,…,c|c|，我们设所有的属性都是条件独立于类别，给定一个测试样例d，观察到属性值a1到a|A|，其中ai是Ai可能的一个取值，那么预测值就是类别cj，使得Pr(C=cj | A=a1,…,A|A|=a|A|)最大。cj被称为最大后验概率假设。
根据贝叶斯公式，有

因为分母对每一个训练类别都是一样的，所以如果仅仅需要总体上最可能的类别为所有测试样例做预测，那么只需要上式的分子部分即可。通过下式来判断最有可能的类别：

例如，假设我们有图4-1中的训练数据，有两个属性A和B,还有类别C，对于一个测试样例：A=m B=q 求C=?
图4-1 训练数据
计算如下：
对于类别为t的概率
类似的，对于类别为f的概率

因此C=t的可能性较大，因此将此种情况下的类别判断为t。
朴素贝叶斯分类将每篇文档看作一“袋子”的词，需要做以下假设，这也是称作“朴素的”贝叶斯的由来：
精选优质文档-----倾情为你奉上
精选优