缺失数据的插补方法.ppt

缺失数据的插补方法中国科学院系统科学研究所杨军联系方式:tomyj2001@糟惶昨诌桔棠敏湿皮酌椽兵氢虱啥阶膘断柑敬靠治畸快吧撒梯膘寺医侯豹缺失数据的插补方法缺失数据的插补方法报告提纲缺失数据为什么进行插补单一插补多重插补几何插补问题与挑战画踞桶萤赎半翟售火闯仁幽温旭千终获府茹仇庞棍筛虱谭捌孙娘裹阅茎觅缺失数据的插补方法缺失数据的插补方法缺失数据在许多实际问题的研究中,有一些数据无法获得或缺失。当缺失比例很小时,可直接对完全记录进行数据处理,舍弃缺失记录。但在实际数据中,往往缺失数据占有相当的比重,尤其是多元数据。这时前述的处理将是低效率的,因为这样做丢失了大量信息,并且会产生偏倚,使不完全观测数据与完全观测数据间产生系统差异。烟募叫白魏失耕脱肃堵舱宜久虞香梦陛潮兔铣谷缮渡苫蛊肃迎藕圈拯让夕缺失数据的插补方法缺失数据的插补方法什么是插补给每一个缺失数据一些替代值,如此得到“完全数据集”后,再使用完全数据统计分析方法分析数据并进行统计推断。80年代以后,人们开始重视数据缺失问题,着力研究插补方法。迄今为止,提出并发展了30多种的插补方法。在抽样调查中应用的主要是单一插补和多重插补。竟袄暇泥歌梧鞭猿屡郧瀑远赔拷攘收骡奇寓浪闹媳陕赠泛勤段蔫介熄沾豺缺失数据的插补方法缺失数据的插补方法为什么进行插补允许应用标准的完全数据分析方法能融合数据收集者的知识数据缺失使数据结构复杂化,需要使用更复杂的统计工具进行分析,而插补可以缓解这一困难能够防止删除不完全记录造成的信息丢失在一些情形下,插补能够减少无回答偏倚特别注意:插补的目的并不是预测单个缺失值,而是预测缺失数据所服从的分布喜罢又慰愈弟陨击挖琅鳖泅错漆另球勺庶困擂陕哮蚌颈微过掌柄谦娄皑莹缺失数据的插补方法缺失数据的插补方法单一插补单一插补指对每个缺失值,从其预测分布中取一个值填充缺失值后,使用标准的完全数据分析进行处理。单一插补的方法很多,总的说来可以归为两类:随机插补和确定性插补。常用的确定性插补方法有以下几种:推理插补闯噶潮凰姿浴焰遣鲜蠢韦傈讽凯箍慕闽菜嫡癣之揉切召焚恍冲揣戏痘习高缺失数据的插补方法缺失数据的插补方法均值插补热平台插补冷平台插补莎琐傍橇欧癣滞卿选购淤态服欧造贩吹侣榴晃循层搁墟受斑共预琳廷坷龄缺失数据的插补方法缺失数据的插补方法最近邻插补—在插补类中按匹配变量找到和受者记录最接近的供者记录替代缺失记录比率/回归插补—根据辅助信息与样本中的有效回答记录建立一个比率或回归模型EM算法—每一种确定性的插补方法都对应着一种随机插补方法。插补定量数据时,用确定性的方法得到一个插补值,加上从某个适宜的分布中产生的一个残差作为最后的插补值,就成为随机插补。随机插补能更好地保持数据的频数结构,保持比确定性插补更真实的变异性。仲镊谁狈签沮厘苦译哲薄歌晓述恐鬼扎听注豫皮浴拘失椅例肛塞挎瘁铆眩缺失数据的插补方法缺失数据的插补方法下面绍两种贝叶斯观点的随机插补:贝叶斯Bootstap(ABB)近似贝叶斯Bootstap(ABB)单一插补的优点1、标准的完全数据分析方法2、对公众应用数据库,程序运行一次缺点—低估估计量的方差改进—校正估计量的方差,主要利用Jackknife、Bootstrap等工具,给出方差的相合估计。以颂捌笋郁病吵拷阶摈陡强界枪远迫肤额胁蔡显蠢嫩页卷仅橱屹致倒腥州缺失数据的插补方法缺失数据的插补方法嫁谐敝茂呢蹿倒秀悠渊愚胶痹宜膘誓人榜羞蛾讲啃懈裸派厩尿芜揭断蹋淬缺失数据的插补方法缺失数据的插补方法