统计学bootstrap ppt课件.ppt

上节课内容总结
统计推断基本概念
统计模型：参数模型与非参数模型
统计推断/模型估计：点估计、区间估计、假设检验
估计的评价：无偏性、一致性、有效性、MSE
偏差、方差、区间估计
CDF估计：
点估计、偏差、方差及区间估计
统计函数估计
点估计
区间估计/标准误差
影响函数
Bootstrap
Bootstrap也可用于偏差、置信区间和分布估计等计算
1
本节课内容
重采样技术（resampling）
Bootstrap
刀切法（jackknife）
2
引言
是一个统计量，或者是数据的某个函数，数据来自某个未知的分布F，我们想知道 的某些性质（如偏差、方差和置信区间）
假设我们想知道 的方差
如果 的形式比较简单，可以直接用上节课学习的嵌入式估计量 作为 的估计
例： ，则
，其中
，其中
问题：若 的形式很复杂（任意统计量），如何计算/估计？
3
Bootstrap简介
Bootstrap是一个很通用的工具，用来估计标准误差、置信区间和偏差。由Bradley Efron于1979年提出，用于计算任意估计的标准误差
术语“Bootstrap”来自短语“to pull oneself up by one’s bootstraps” （源自西方神话故事“ The Adventures of Baron Munchausen”，男爵掉到了深湖底，没有工具，所以他想到了拎着鞋带将自己提起来）
计算机的引导程序boot也来源于此
意义：不靠外界力量，而靠自身提升自己的性能，翻译为自助/自举
1980年代很流行，因为计算机被引入统计实践中来
4
Bootstrap简介
Bootstrap：利用计算机手段进行重采样
一种基于数据的模拟（simulation）方法，用于统计推断。基本思想是：利用样本数据计算统计量和估计样本分布，而不对模型做任何假设（非参数bootstrap）
无需标准误差的理论计算，因此不关心估计的数学形式有多复杂
Bootstrap有两种形式：非参数bootstrap和参数化的bootstrap，但基本思想都是模拟
5
重采样
通过从原始数据 进行n次有放回采样n个数据，得到bootstrap样本
对原始数据进行有放回的随机采样，抽取的样本数目同原始样本数目一样
如：若原始样本为
则bootstrap样本可能为
…
6
计算bootstrap样本
重复B次，
1. 随机选择整数 ，每个整数的取值范围为[1, n]，选择每个[1, n]之间的整数的概率相等，均为
2. 计算bootstrap样本为：
Web上有matlab代码：
BOOTSTRAP MATLAB TOOLBOX, by Abdelhak M. Zoubir and D. Robert Iskander,

Matlab函数：bootstrp
7
Bootstrap样本
在一次bootstrap采样中，某些原始样本可能没被采到，另外一些样本可能被采样多次
在一个bootstrap样本集中不包含某个原始样本 的概率为
一个bootstrap样本集包含了大约原始样本集的1- = ，
8
模拟
假设我们从 的分布 中抽取IID样本 ，当 时，根据大数定律，
也就是说，如果我们从 中抽取大量样本，我们可以用样本均值 来近似
当样本数目B足够大时，样本均值 与期望 之间的差别可以忽略不计
9
模拟
更一般地，对任意均值有限的函数h，当 有
则当 时，有
用模拟样本的方差来近似方差
10