造成数据缺失的原因.docx

造成数据缺失的原因
      在各种实用的数据库中,属性值缺失的情况经常发全甚至是不可避免的。因此,在大多数情况下,信息系统是不完备的,或
者说存在某种程度的不完备。造成数据缺失的原因是多方面的,主要可能有以下几种:
     1)有些信息暂时无法获取。例如在医疗数据库中,并非所有病人的所有临床检验结果都能在给定的时间内得到,就致使一部
分属性值空缺出来。又如在申请表数据中,对某些问题的反映依赖于对其他问题的回答。
     2)有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏,也可能是由于数据采集设备
的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。
     3)有些对象的某个或某些属性是不可用的。也就是说,对于这个对象来说,该属性值是不存在的,如一个未婚者的配偶姓名
、一个儿童的固定收入状况等。
     4)有些信息(被认为)是不重要的。如一个属性的取值与给定语境是无关的,或训练数据库的设计者并不在乎某个属性的取
值(称为dont-care value)。
     5)获取这些信息的代价太大。
  6)系统实时性能要求较高,即要求得到这些信息前迅速做出判断或决策。
处理数据缺失的机制
      在对缺失数据进行处理前,了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量(属性)称为完全变量
,数据集中含有缺失值的变量称为不完全变量,Little 和 Rubin定义了以下三种不同的数据缺失机制:
     1)完全随机缺失(pletely at Random,MCAR)。数据的缺失与不完全变量以及完全变量都是无关的。
     2)随机缺失(Missing at Random,MAR)。数据的缺失仅仅依赖于完全变量。
     3)非随机、不可忽略缺失(Not Missing at Random,NMAR,or nonignorable)。不完全变量中数据的缺失依赖于不完全变量
本身,这种缺失是不可忽略的。
空值语义
      对于某个对象的属性值未知的情况,我们称它在该属性的取值为空值(null value)。空值的来源有许多种,因此现实世界中
的空值语义也比较复杂。总的说来,可以把空值分成以下三类:
     1)不存在型空值。即无法填入的值,或称对象在该属性上无法取值,如一个未婚者的配偶姓名等。
     2)存在型空值。即对象在该属性上取值是存在的,但暂时无法知道。一旦对象在该属性上的实际值被确知以后,人们就可以用
相应的实际值来取代原来的空值,使信息趋于完全。存在型空值是不确定性的一种表征,该类空值的实际值在当前是未知的。但它
有确定性的一面,诸如它的实际值确实存在,总是落在一个人们可以确定的区间内。一般情况下,空值是指存在型空值。
     3)占位型空值。即无法确定是不存在型空值还是存在型空值,这要随着时间的推移才能够清楚,是最不确定的一类。这种空值
除填充空位外,并不代表任何其他信息。
空值处理的重要性和复杂性
      数据缺失在许多研究领域都是一个复杂的问题。对数据挖掘来说,空值的存在,造成了以下影响:首先,系统丢失了大量的
有用信息;第二,系统中所表现出的不确定性更加显著,系统中蕴涵的确定