回归分析之模型选择.doc

《应用回归分析》
模型选择
问题:
对于模型
,其中
用随机数的方法产生组数据,要求
,,;;
并且由
得出。对于这40组随机数据,,我们建立了以下四种模型:
①.
②.
③.
④.
运用我们所学的模型选择的准则在①~④中选出最佳模型。
一、产生随机数
对于这个问题,我们首先要解决的是根据原模型及给定的参数分布产生问题要求的40组随机数,。
我们知道在Matlab中,可以利用这个函数来产生一个[0,1]上的随机数,并且R是来自[0,1]的均匀分布,即;我们利用就可以得到一个n行k列的来自均匀分布的随机数组成的矩阵。由此我们可以想到,利用,我们就可以得到,,,我们在它的左侧加入全为1的一列,保存在X中。
我们要运用林德贝格-勒维中心极限定理通过均匀分布的随机数来产生上的随机数。的期望和方差分别为1/2和1/12,所以12个相互独立的和的期望和方差分别为6和1。因此只要产生12个上的随机数,计算就得到一个来自的随机数。

因此我们得到了40组数据,,将其代入模型
就得到了上页中以矩阵形式表示的40组随机数,。
二、模型选择准则
这里我们有五种模型选取准则:
1、平均平方和准则
对于一个选模型,假设模型中含有p个回归变量,记:
其中是在此选模型下的残差平方和。计算多个选模型的,我们认为越小的模型效果越好。
2、准则
同样的,我们对选模型计算:
其中是全模型下的的最小二乘估计。越小,模型效果越好。
3、AIC准则
是一个样本,记含有k个参数的模型的似然函数为,的为,则AIC准则要求
的值越大,选模型的效果越好。进一步地,在线性模型场合,我们有
的值越小越好。
4、CV准则
将40组原始数据的第i组数据删去,利用剩下的39组数据对选模型进行最小二乘估计,将第i组数据
代入模型中得出。对i=1,2,…,40重复进行上述操作40次,最后计算
CV越小,选模型效果越好。
5、BIC准则
其中是全模型下的的最小二乘估计,BIC越小,选模型效果越好。
三、模型选择
在以上几种准则中需要用到全模型下的一些数据,所以我们先就全模型即第④种模型进行分析。
1、全模型
将所有数据导入到Minitab软件中,可以得到:
,,
由此,
在Matlab中利用循环可以求得CV,定义一个阶的用以保存每次得到的,并且输入如下循环语句:
>> for i=1:40
A=X; B=Y;
A1=A(i,:); B1=B(i,:);
A(i,:)=[]; B(i,:)=[];
R=regress(B,A);
Y0=A1*R;
Y1(i,1)=Y0;
A=X; B=Y;
end
于是得到:
2、选模型①
将X的第3、4列删去,然后和上面一样我们可