基于待测样本与训练样本差异的分类准确率估计.pdf

基于待测样本与训练样本差异的
分类准确率估计





重庆大学硕士学位论文
（学术学位）


学生姓名：马长春
指导教师：张 敏
专 业：软件技术与理论
学科门类：工 学





重庆大学计算机科学学院
二 O 一四年四月
Accuracy estimation based on the difference
between test samples and train samples



A Thesis Submitted to Chongqing University
in Partial Fulfillment of the Requirement for the
Master’s Degree of Engineering
By
ChangChun Ma

Supervised by Min Zhang
Specialty：Software technology and theory



College of computer science of Chongqing University,
Chongqing, China
April 2014
摘 要

分类器是机器学习的重要组成部分，在现实生活中有很多应用。分类准确率
是衡量分类器好坏的重要标准。分类器给出分类结果的时候并未给出分类结果的
准确率。通常采用事后验算的方法评估分类准确率，这样往往不能及时有效的发
现分类准确率下降之类的问题。同时评估分类准确率必须对测试样本进行额外的
标记，进行标记有时候比较昂贵。
分类器的应用越来越广泛，分类器渐渐融入我们的日常生活，对分类准确率
的有效估计变得更加重要。我们总是希望能够有一个较高的分类准确率，至少能
一直保持在训练准确率的水平。分类准确率不是一成不变的。随着时间的推移，
分类准确率往往会慢慢下降。及时的发现分类准确率下降是很有意义的。越早发
现分类准确率下降，那么留给我们处理分类器准确率的时间越多，可以在造成大
的损失前及时更新分类器。
分类准确率指分类器正确分类的项目占所有被分类项目的比率。分类准确率
是一个分类器有价值的重要保证。新来一组样本，在现有分类器上的准确率究竟
怎么样，这是我们非常关心的一个问题。本文围绕这一问题，分别从不同角度提
出不同的估计。从贝叶斯分类方法中引出基于样本分布不同的分类准确率估计。
从 K 近邻算法中引出基于实例的分类准确率估计，同时提出以聚类的方法降低基
于实例的分类准确率估计的计算复杂度。分析两个方法的特点，之后利用函数逼
近的方法估计分类准确率。最后，将分类准确率估计应用到柑橘溃疡识别系统中。

关键词：分类器，样本分布，K 近邻分类，函数逼近，柑橘溃疡识别




I
ABSTRACT

Classifier is an important part of machine learning, there are many applica