第四讲回归分析逐步回归分析.ppt

第四讲回归分析逐步回归分析1最优回归方程的问题在有p个自变量的情况下,根据自变量的不同组合可能建立的回归方程众多。这些回归方程的效果有好有坏,而人们希望的是回归效果最好的,即“最优”的回归方程最优回归方程的要求:回归效果最佳自变量的个数最少一方面对因变量起显著作用的自变量都选进回归方程,另一方面对因变量作用不显著的自变量都剔除回归方程,,选择一个最优的回归方程。这种方法一定能选出一个最优组合,:从包含全部p个自变量组合的回归方程中逐个检验回归系数,剔除对因变量作用不显著的自变量;对剔除后剩下的q个自变量建立对因变量的多元回归方程,再逐个检验回归系数,剔除不显著的变量;重复上述步骤,直到保留在回归方程中自变量的作用都显著为止缺点:一开始把全部自变量都要引入回归方程,计算量很大,①基本步骤:先逐个比较xl,…,xp对y的回归方程那些是显著的,从显著的方程中挑选F值最大的,相应的自变量x就被“引入”方程。无妨设x就是x1再逐个比较(x1,x2)、(x1,x3)、…、(x1,xp)对y的回归方程,看有没有F值显著的,此时的F就是考虑添加xi之后,xi的回归系数是否显著地不为0,将显著的F中最大的F所相应的变量“引入”方程。无妨设第二次“引入”的自变量是x2再考察以x1、x2为基础,逐个添加x3、x4、…、xp之后的回归方程,是否较x1、x2的方程有显著的改进,有就再“引入”新的自变量……,这样下去,终于到某一步就没有可以再“引入”的自变量了。,从大到小逐个地引入回归方程当每一变量引入以后,若先前已经引入的变量由于后来变量的引入而使其作用变得不显著时,就及时从回归方程中剔除出去,直到作用显著的变量都引入到回归方程,而作用不显者的变量都剔出回归方程,得到一个最佳的变量组合为止②“逐步引入“法的缺点:不能反映后来变化的状况,设想x1、x2、x3引入后,又引入了x6,也许x3、x6引入后,x1的作用就不重要了,应该予以剔除,而“逐步引入”法不能达到这个要求5逐步回归分析的几个问题一、建立标准正规方程组二、变量的引入、剔除与消去法的关系6一、建立标准正规方程组为了分辨p个自变量对因变量Y所起影响(或作用)的大小,一个自然的想法是比较各自变量回归系数(j=1,2,…,p)的绝对值的大小。根据回归系数的含义,Xj的回归系数是在其余p-1个自变量保持不变的条件下,Xj改变一个单位所引起Y平均变化的大小。因而回归系数绝对值的大小反映了它所代表的因素的重要程度由于回归系数和自变量所取的单位(或数量级)有关,而各个自变量取不同的量纲的情况是常见的,因而不能将回归系数直接进行比较7建立标准正规方程组为了消除这个影响,对自变量和因变量都要加以标准化标准化的方法经过标准化的变量,其均值为0,标准离差Lxjxj为18标准正规方程组由标准化数据建立的正规方程组的系数矩阵即为变量间的相关系数矩阵,称为标准化正规方程组标准化正规方程组为:9标准正规方程组标准化正规方程组的解称为标准回归系数,其常数项为0。由于因变量也进行了标准化,其总离差平方和Lyy=1求解标准化正规方程组还需要解决以下两个问题①引入变量和剔除变量的标准;②引入变量与剔除变量的方法。10