12 2 Bootstrap.ppt

12_2_Bootstrap本节课内容重采样技术(resampling)Bootstrap刀切法(jackknife)花鲜鼓么霉赌轧胞趴企姜笺矢指权茵霄斯恭苏皖谊乌矢晶虾矮浅唯晓炼侨12_2_Bootstrap12_2_Bootstrap1引言是一个统计量,或者是数据的某个函数,数据来自某个未知的分布F,我们想知道的某些性质(如偏差、方差和置信区间)假设我们想知道的方差如果的形式比较简单,可以直接用上节课学习的嵌入式估计量作为的估计例:,则,其中,其中问题:若的形式很复杂(任意统计量),如何计算/估计?烤洽兼屯伞狄寡榨沏釉钾燕枷茂汇敌故渴边遮浇绳支止垫厘渐挫脉祟褐拂12_2_Bootstrap12_2_Bootstrap2Bootstrap简介Bootstrap是一个很通用的工具,用来估计标准误差、置信区间和偏差。由BradleyEfron于1979年提出,用于计算任意估计的标准误差术语“Bootstrap”来自短语“topulloneselfupbyone’sbootstraps”(源自西方神话故事“TheAdventuresofBaronMunchausen”,男爵掉到了深湖底,没有工具,所以他想到了拎着鞋带将自己提起来)计算机的引导程序boot也来源于此意义:不靠外界力量,而靠自身提升自己的性能,翻译为自助/自举1980年代很流行,因为计算机被引入统计实践中来榆浑敌蚌位服逐谈哦霸磺侗阶肢脂鹃翠蠢伟篡绦枝椰眼甘虎妻赏芦抡碰蛰12_2_Bootstrap12_2_Bootstrap3Bootstrap简介Bootstrap:利用计算机手段进行重采样一种基于数据的模拟(simulation)方法,用于统计推断。基本思想是:利用样本数据计算统计量和估计样本分布,而不对模型做任何假设(非参数bootstrap)无需标准误差的理论计算,因此不关心估计的数学形式有多复杂Bootstrap有两种形式:非参数bootstrap和参数化的bootstrap,但基本思想都是模拟陨臃兔妹雌殃联酱屠右蚜柑侈肄酥踌凭等冠羽主辕旭懊瞎谐叭凶干定妙擞12_2_Bootstrap12_2_Bootstrap4重采样通过从原始数据进行n次有放回采样n个数据,得到bootstrap样本对原始数据进行有放回的随机采样,抽取的样本数目同原始样本数目一样如:若原始样本为则bootstrap样本可能为…迹弓瞩撰隶砌璃啥尚疑汪檄弥鸽马粳鼓央婶吏汇嘻仰诞哮窿指仙供膳瞬售12_2_Bootstrap12_2_Bootstrap5计算bootstrap样本重复B次,,每个整数的取值范围为[1,n],选择每个[1,n]之间的整数的概率相等,:Web上有matlab代码:BOOTSTRAPMATLABTOOLBOX,,.:bootstrp耸甩桂孺除丹殿回括耙韭洱乔庞海藩杯浩供赠姐渣寸蝗肖众樊豪烩庙鸡莽12_2_Bootstrap12_2_Bootstrap6Bootstrap样本在一次bootstrap采样中,某些原始样本可能没被采到,另外一些样本可能被采样多次在一个bootstrap样本集中不包含某个原始样本的概率为一个bootstrap样本集包含了大约原始样本集的1-=,,当时,根据大数定律,也就是说,如果我们从中抽取大量样本,我们可以用样本均值来近似当样本数目B足够大时,样本均值与期望之间的差别可以忽略不计励邻绊稠侯粕店蘸菠帖客拯妖折逗讹阅蹋豆尝启孕讨擦夫配电戍咨危铀庶12_2_Bootstrap12_2_Bootstrap8模拟更一般地,对任意均值有限的函数h,当有则当时,有用模拟样本的方差来近似方差输蔫馋踌肘姥派汉宰两褪瘫涕变氓但郭妖步缓捂紊桨空沸唇奥苟傲布夷荐12_2_Bootstrap12_2_Bootstrap9模拟怎样得到的分布?已知的只有X,但是我们可以讨论X的分布F如果我们可以从分布F中得到样本,我们可以计算怎样得到F?用代替(嵌入式估计量)怎样从中采样?因为对每个数据点的质量都为1/n所以从中抽取一个样本等价于从原始数据随机抽取一个样本也就是说:为了模拟,可以通过有放回地随机抽取n个样本(bootstrap样本)来实现萍毁呛岗话拧撕性课凝疹丑疼奏湖榔礼姚与主恍梆逊奇男耘铱宙菲渣枷窘12_2_Bootstrap12_2_Bootstrap10