分类器评价指标总结.docx

: .
对于分类器(分类算法)，评价指标主要有:
1. PrecisionRecallF-sc: .
对于分类器(分类算法)，评价指标主要有:
1. PrecisionRecallF-scoreAaccuracyROCAUC首先，介绍混淆矩阵的概念。
混淆矩阵是监督学习中的一种可视化工具，主要用于比较分类结果和实例的真实信息矩阵中的每一行代表实例的预测类别，每一列代表实例的真实类别。
actualvalue
pntoial
predictionoutcome
total
TruePositive
FalsePositive
FalseNe-gative
TrueNegative
PN
图1混淆矩阵
如图1所示，在混淆矩阵中，每一个实例可以划分为以下四种类型之一：
2. 真正(TruePositive,TP)：被模型预测为正的正样本假正(FalsePositive,FP):被模型预测为正的负样本假负(FalseNegative,FN)：被模型预测为负的正样本真负(TrueNegative,TN)：被模型预测为负的负样本真正率(TruePositiveRate,TPR)【灵敏度(sensitivity)】：TPR=TP/(TP+FN)，即正样本预测结果数/正样本实际数假负率(FalseNegativeRate,FNR):FNR=FN/(TP+FN)，即被预测为负的正样本结果数/正样本实际数假正率(FalsePositiveRate,FPR):FPR=FP/(FP+TN),即被预测为正的负样本结果数/负样本实际数真负率(TrueNegativeRate,TNR)【特指度(specificity)】：TNR=TN/(TN+FP),即负样本预测结果数/负样本实际数然后，由混淆矩阵计算评价指标。
1) 精确度(Precision):P=TP/(TP+FP)召回率(Recall):R=TP/(TP+FN)，即真正率F-score：查准率和查全率的调和平均值更接近于P,R两个数较小的那个:F=2*P*R/(P
2) +R)准确率(Aaccuracy):分类器对整个样本的判定能力，即将正的判定为正，负的判定为负:
A=(TP+TN)/(TP+FN+FP+TN)ROC(ReceiverOperatingCharacteristicROC的主要分析工具是一个画在ROC空间的曲线——ROCcurve，横坐标为falsepositiverate(FPR),纵坐标为truepositiverate(TPR)。
>如何画ROC曲线？
对于二值分类问题，实例的值往往是连续值，通过设定一个阈值，将实例分类到正类或者负类(比如大于阈值划分为正类)。因此，可以变化阈值，根据不同的阈值进行分类，根据分类结果计算得到ROC空间中相应的点，连接这些点就形成ROCcurveoROCcurve经过(0,0)(1,1)，实际上(0,0)和(1,1)连线形成的