第四章 回归分析3(逐步回归分析).ppt

回归分析（三）逐步回归分析
蝉瑟啦术冉彦楚逝碘禾错瞅盘呸脾飞苦忠岿领泥汽捅瘦呻尉系垢需弃散截第四章 回归分析3(逐步回归分析)第四章 回归分析3(逐步回归分析)
1
最优回归方程的问题
寻求最优回归方程的问题
在有p个自变量的情况下，根据自变量的不同组合可能建立2p-1个回归方程。这些回归方程的效果有好有坏，而人们希望的是回归效果最好的，即“最优”的回归方程
最优回归方程的要求
回归效果最佳
自变量的个数最少
选择一个最佳的变量组合
一方面对因变量起显著作用的自变量都选进回归方程，另一方面对因变量作用不显著的自变量都剔除回归方程，
辞饺杯壮核稚韩得絮伴候莎零誊课断禁芽逊刃姓怖喉走沙电子礁尾捉缆虚第四章 回归分析3(逐步回归分析)第四章 回归分析3(逐步回归分析)
2
选择最优回归方程的方法
方法一：穷尽法
从所有可能的变量组合中，选择其中最优的回归方程
这种方法一定能选出一个最优组合，但工作量特别大
方法二：逐步剔除法
基本步骤：
从包含全部p个自变量组合的回归方程中逐个检验回归系数，剔除对因变量作用不显著的自变量；
对剔除后剩下的q个自变量建立对因变量的多元回归方程，再逐个检验回归系数，剔除不显著的变量；
重复上述步骤，直到保留在回归方程中自变量的作用都显著为止
缺点：一开始把全部自变量都要引入回归方程，计算量很大，实际上有些不重要的就不必引入
煌臣活胖谎肘芯盂獭安狡藐蓉栖辜乘突彪豌领手峦寝了幻惹捷留志梳忽箭第四章 回归分析3(逐步回归分析)第四章 回归分析3(逐步回归分析)
3
方法三：逐步引入法
（1）基本步骤：
①先逐个比较 xl,…,xp 对 y 的回归方程那些是显著的，从显著的方程中挑选 F 值最大的，相应的自变量 x 就被“引入”方程。无妨设 x 就是x1
②再逐个比较(x1,x2)、(x1,x3)、…、(x1,xp)对y的回归方程，看有没有F值显著的，此时的F就是考虑添加xi之后， xi的回归系数是否显著地不为0，将显著的F中最大的F所相应的变量“引入”方程。无妨设第二次“引入”的自变量是x2
③再考察以x1、x2为基础，逐个添加x3、x4、…、xp之后的回归方程，是否较x1、x2的方程有显著的改进，有就再“引入”新的自变量……，这样下去，终于到某一步就没有可以再“引入”的自变量了。这时就获得了最后的回归方程
掀秀谢盔心同畦酝礁奖微嘶倦蝉前捂墓哲甜颇茄霉仿慌捕课卢酬桃健竿睫第四章 回归分析3(逐步回归分析)第四章 回归分析3(逐步回归分析)
4
方法四：逐步回归分析方法
按照自变量对因变量所起作用的显著程度，从大到小逐个地引入回归方程
当每一变量引入以后，若先前已经引入的变量由于后来变量的引入而使其作用变得不显著时，就及时从回归方程中剔除出去，直到作用显著的变量都引入到回归方程，而作用不显者的变量都剔出回归方程，得到一个最佳的变量组合为止
（2） “逐步引入“法的缺点：
不能反映后来变化的状况，设想x1、x2、x3引入后，又引入了x6，也许x3、x6引入后，x1的作用就不重要了，应该予以剔除，而“逐步引入”法不能达到这个要求
蜕铁浇刺怪润最神坟展幢谓拦楼米滤坑雍音宽奥愧景窗草咀旺首是浓舀总第四章 回归分析3(逐步回归分析)第四章 回归分析3(逐步回归分析)
5
逐步回归分析的几个问题
一、建立标准正规方程组
二、变量的引入、剔除与消去法的关系
酚莲厉糯掏蔼亏它阜柯刚谩燎捌唾矢受戈偶蛇蜜实诡胜炸眨黍钝鄙漱原毛第四章 回归分析3(逐步回归分析)第四章 回归分析3(逐步回归分析)
6
一、建立标准正规方程组
为了分辨 p个自变量对因变量 Y 所起影响(或作用)的大小，一个自然的想法是比较各自变量回归系数 (j＝1,2,…,p)的绝对值的大小。
根据回归系数的含义，Xj 的回归系数 是在其余p－1个自变量保持不变的条件下，Xj 改变一个单位所引起 Y 平均变化的大小。因而回归系数绝对值的大小反映了它所代表的因素的重要程度
由于回归系数和自变量所取的单位(或数量级)有关，而各个自变量取不同的量纲的情况是常见的，因而不能将回归系数直接进行比较
裂钟韩印浅砰闸伏丢襟肃穿爷腥辨喷刮波唆凡觅旬崔助碘虐剖艰莉爽煌逐第四章 回归分析3(逐步回归分析)第四章 回归分析3(逐步回归分析)
7
建立标准正规方程组
为了消除这个影响，对自变量和因变量都要加以标准化
标准化的方法
经过标准化的变量，其均值为 0，标准离差Lxjxj为 1
事实上，
刑层削貉搐郁秒衣咱伪辟碌纸略姻刘愚狮卧眯猖邻除养介捂许车嘴蜗裸食第四章 回归分析3(逐步回归分析)第四章 回归分析3(逐步回归分析)
8