Bootstrap及jackknife刀切法中文讲义.docx

2
1
上节课内容总结
■统计推断基本概念
■统计模型：参数模型与非参数模型
■统计推断/模型估计：点估计、区间估计、假设检验
■估计的评价：无偏性、一致性、有效性、MSE■偏差、方差、区间估计
■CDF估计：
■点均值『与期望E(T)t|B]的差别可以忽略不计
7
18
13
模拟
■更一般地，对任意均值有限的函数仏当5懿
1Bp
-a亿)？"(g⑴e(/<))
〃b=\
■则当h⑴鳥=時乃）时'有
*皆（治Tn^E（（tJt）2）=V（7；）
“b=l
7
14
17
■用模拟样本的方差来近似方差V（7；）
模拟
■怎样得到7；的分布？
■已知的只有X，但是我们可以讨论X的分布F
■如果我们可以从分布F中得到样本X；…,X：我们可以计算
/、I川
■怎样得到F?用E代替（嵌入式估计量）
■怎样从代中采样？
■因为月，对每个数据点X］，…,的质量都为〃〃
■所以从代中抽取一个样本等价于从原始数据随机抽取一个样本
7
18
15
n*火八
■也就是说：为了模拟X,…〜坊可以通过有放回地随机抽取n个样本（bootstrap样本）菜实现
7
16
17
Bootstrap:—个重采样过程
■重采样：
■通过从原始数据x=进行有放回采样n个
数据，得到bootstrap棒本
■模拟:
X；
7
18
17
7
■为了估计我们感兴趣的统计量直=g（X）=
的方差/中值/均值，我们用bootstrap样本对应的统计量（bootstrap复制）厂二g（X：）二g（x：,…）近似，其中b="
18
17
7
18
19
7
例：中值
XI二(1・57,0・22,19・67,)
Mean=
X2二(0,,,
,,)

X3二(0・22,3・12丄57,
,,)
20
17
7
Mean=
18
21
7
Bootstrap方差估计
Bootstrap方差估计
I方差：Vf（7；）=s^/n■其中s；=Q（t-rrif）2dGn（t\=gtdGn（r）
■注意：F为数据X的分布，G为统计量厂的分布
■通过两步实现：
■第一步：用V.（Tn）估计耳⑺）
■插入估计，积分符号变成求和
■第二步：通过从肘采样来近似计算V.（7；,）
■Bootstrap采样+大数定律近似
1B1B
%（Tn）=吕邇兀-町），T；=-T；,b
7
Bootstrap方差估计
Bootstrap方差估计
"bb=l"b=l14
7
Bootstrap:方差估计
Bootstrap:方差估计
24
21
Bootstrap的步骤：
：,...,X；:出（计算boostrap样本）
=g（X],...,X”）（计算boostrap复制）
，得到
7
Bootstrap:方差估计
Bootstrap:方差估计
22
25
（大数定律）
7




例：混合咼斯楔型:
■假设真实分布为F：F(X)=0・2N(l,22)+0・8N(6J)-现有2100个观测样本：X=(XP_X1OO)



546
199




1230


790



-



-

」
.

523






5.