评价指标(分类指标)知识笔记.doc

评价指标（分类指标）知识笔记
评价指标（分类指标）
对学习器的泛化性能进行评估，不仅仅需要有效可行的实验估计方法，还需要有衡量模型泛华能力的评价标准，这就是性能度量。我们通常会根据不同的业务选出适合的业务指标。
评价指标大概有
1、慎认真的人，分类阈值较高
召回率(recall)
*意义：真实为正样本的结果中，有多少是正确分类。*
通俗理解：宁杀错不放过，分类阈值较低但是，两者有时候就比较难去平衡到。
怎么说？
比如说，10个好苹果，10个坏苹果。
预测为好苹果
预测为坏苹果
标签为好苹果
2
8
标签为坏苹果
0
10
准确率为(2+10)/20=；精确率为(2)/2=1召回率为(2)/10=
虽然精确率很高，但是不能说明这个模型很好再举个栗子。
10个好苹果，10个坏苹果。
预测为好苹果
预测为坏苹果
标签为好苹果
10
0
标签为坏苹果
10
0
准确率为(10)/20=
精确率为(10)/20=
召回率为(10)/10=1虽然召回率很高，但是不能说明这个模型很好。
所谓鱼与熊掌不兼得。（虽然这两个栗子都有点极端）。但是如果你想检测更多准确地正样本出来，出错是必不可少的。
这时候下面几个指标就出来了〜〜〜
UQT:u4JJ:IQLi
F值(F1-score)
；1-i
jr-.-H-*"・l—n
通俗的语言就是：B越大，Recall的权重越大，越小，Precision的权重越大。
由于FBScore无法直观反映数据的情况，同时业务含义相对较弱，实际工作用到的不多。
_2*precmcn，trecalL
****意义：精确率与召回率的调和平均值，它的值更接近于Precision与Recall中较小的值****
补充：调和平均数是各变量值倒数的算术平均数的倒数，因而也称为倒数平均数。其计算形式也有简单调和平均数和加权调和平均数两种。加权调和平均数按照调和平均数的定义，是各变量值倒数的加权算术平均数的倒数。
i^piccwiQii^rocEil]
□teckionL'ecall
precision+recall
AQ
山一轉卍中.£七万口[1njndj.
ROC
ROC叫作受试者工作特性曲线，反应敏感度和特异度连续变量的综合指标。纵坐标为敏感度，横坐标是特异度。
ROC是一个以TPR为纵坐标，FPR为横坐标构造出来的一幅图。
我们当然希望TPR越高越好，因为证明覆盖率高；我们也希望FPR越低越好，这证明精确率高。
在鱼与熊掌不能兼得的时候，我们找一个界值，这个值越靠近左上角越好。
——rocToldo(area=o„8L>
ROCfold1(area=[
——ROCfold5[area-
MeanROCIarea0,76)
简单，直观，可以通过图直接判断。而且把灵敏度和特异性结合，可以同时衡量两者关系。一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting。
ROC曲线和它相关的比率
理想情况下，TPR应该接近1,FPR应该接近0。
ROC曲线上的每一个点对应于一个threshold,对于一个分类