回归分析(3)多元逐步回归.ppt

回归分析(3)多元逐步回归
第一页，共28页。
为了得到一个稳健的、可靠的回归模型，这就需要给出一种方法，使得能从影响 的因素中自动根据某种准则将 对 贡献大的变量 （或者说对 重要的变量 ）引入方程，不重要明 对 的影响越大，即 对 越重要，
当然 在方程中就不能被剔除，反之亦然。然而
应小到什么程度，自变量 才考虑从方程中被剔
除呢？这就需要给出 的剔除标准（或称剔除门
坎值）。和前面所介绍的引入标准一样，可用统
计量

来检验方程中哪个自变量 可被考虑剔除出方程。
第十二页，共28页。
对于给定的水平 ，查 分布表得临界
值 。
如果 ，则 应从方程中剔除；
如果 ，则 不应从方程中剔除。
同样需要说明的是，实际问题可能有多个
，由于每次只能从方程中剔除一个变
量，因此在算法上，我们选最小的 值所对应
的变量考虑剔除，即先求
第十三页，共28页。
然后将 与 比较，如 时，就应从回归
方程中剔除变量 ；如 ，则方程中没
有变量被剔除，转入是否可以引入新变量的讨论。
第十四页，共28页。
§ 逐步回归的计算步骤
前面已经讲过，“引入”或“剔除”变量的依据是
根据自变量 对因变量 的方差贡献的大小决定
。当开始进行逐步回归时，第一步、第二步只考
虑“引入”。至于以后各步，则应首先考虑能否剔
除，如果已断定不能剔除时，再考虑“引入”。当
既不能引入又不能剔除时，则逐步回归的变量挑
选即告结束。在下面的介绍中，我们只给出逐步
回归的计算方法而不去讨论它的数学原理。
第十五页，共28页。
§ 数据准备
回归分析的原始数据包括两部分，一部分是自
变量 及因变量 的观测值。我们称为
模型数据值。另一部分是只有自变量的观测值，
因变量 的取值未知，称预测数据部分。
模型数据用来求回归方程的参数，在模型显著
时，再用以对预测部分作 的预测计算。
第十六页，共28页。
1．输入模型原始数据
其中， 为样品个数， 为自变量个数。
第十七页，共28页。
该变换使变换后的数据各变量均值为0，离差平方和为l。
2．作如下预处理变换
（1） 求各变量均值
（2） 求

(3） 作变换
第十八页，共28页。
这一步与多元回归中叙述的内容相同。为了使
计算有更好的效果，可把正规方程组式（）
，改为
（）
第十九页，共28页。
§ 建立正规方程组
式（）中， 是相关系数，即
（）
新方程组 与式（）中 有如下关系：
第二十页，共28页。
方程组式（）中左端的系数项定为矩阵 ，
即零步矩阵。在计算技巧上为了方便，把 扩充
为
（）
第二十一页，共28页。
§ 逐步计算
假设已计算了 步（包括 步），在回归方程
中已引入了 个变量，这时初始的 阵已经变换
为
第二十二页，共28页。
（）
1．首先对已引入方程变量 计算方差贡献 ，即 步的
从 中选出最小的 ，记为 ，计算
（）
第二十三页，共28页。
如果 乃事先规定的变量剔除门坎值），
则将贡献最小的变量 从回归方程中剔除。
2．对作消去变换，消去运行公式为
（）
如果不存在应被剔除的变量，则进行引入变量
的计算，转入下一 步。
第二十四页，共28页。
3．对未引入方程的变量计算其方差贡献 ，
从中选出最大的，即 ，计算
如果