第一讲 逐步回归分析.ppt

第一讲逐步回归分析STEPWISE REGRESSION ANALYSIS
在多元线性回归分析时,为建立一个较为简化又能准确预测依变量的最优回归方程,通常是逐个剔除复回归方程中经检验对y影响不显著的所有自变量。这种先全部引入,后逐个剔除的方法,也是建立最优回归方程的一种分析法。此类分析法还很多,它们多适用于自变量个数较少,或大多数自变量对y有显著影响的资料分析。否则,计算量将大大增加。目前较为常用的逐步回归分析法是按自变量与y影响程度的大小,逐个地由大至小将自变量引入回归方程。而每引入一个自变量,都要对方程中的各个自变量作显著性检验。检验时先选偏回归平方和最小的自变量进行检验,若为显著,余者皆为显著;若检验差异不显著,即从方程中剔除,直至留在方程中的自变量均检验为显著后,再引入另一个与y影响最大的变量,并进行显著性检验。如此反复,直至没有自变量可再被引入,而方程中所有自变量均与y存在显著的线性关系为止。
-1×=1
3-1×2=1
4-1×1=3
3-4×=1
10-4×2=2
5-4×1=1
-×(-)=
2-×1=
1-×3=
-2-1×(-)=-
2-1×1=1
1-1×3=-2
-×(-)=3
--×(-1)=1
--×(-2)=
--1×(-)=1
1-1×(-1)=2
3-1×(-2)=5
b1=
b2=5
b3=-2
预备知识
生物各性状间的关系是相互依赖和相互制约的关系,改变某一性状,即会引起另一性状也发生变异。而生物现象数量的表现多半是随机的,因此对现象关系的研究亦就是对随机变量关系的研究。对随机变量关系的研究,在统计学中有相关分析和回归分析两种不同的方法。相关分析是研究变量间的相互之间关系,研究变量间相互联系的性质和紧密程度。回归分析是研究一个变量对另一个变量的单向依存关系,即研究一个变量随另一个变量变化而变化。这里,后一个变量叫自变量,前一个变量叫依变量或应变量。变量间的相关关系及分析方法归纳如下:
相关系数
式中
称x变量的平方和;
称y变量的平方和;
称乘积和(sum of products)。
回归系数
由x估测y的估计值的直线回归方程:
=a+bx
一、计算相关系数阵
1、计算各变量的平均数(为表1—1)
设自变量x1,x2,…,xm与依变量y存在线性关系,m元线性回归方程为:
若有n对观察值:
xk1,xk2,…,xkm,yk, k=1,2,…,n
则各变量平均数:
本例计算结果列于表1—1。
i=1,2,…,m (1—3)
(1—4)
(1—1)
(1—2)
2、计算离差阵
自变量平方和ssi,自变量间及其与依变量间的乘积和SPij及SPiy由下式算出:
于是可得正规方程组
本例m=5,n=12 算得:
(1—8)
(1—9)
(1—7)
i、j=1,2,…,m,i≠j (1–6)
(1—5)
3、计算相关系数阵
在逐步回归中,为便于计算和表达,通常将离差阵化为相关阵,计算公式为:
rij=spij/(ssissj)1/2 i、j=1,2,…,m,y (1—10)
rij为x1,x2,…,xm,y间的相关系数,且rii=1,于是正规方程组(1—8)可改写为:
本例由公式(1-10)算得:
方程组(1—12)中的pi与方程组(1—8)中bi间的关系为:
bi=piSy/Sxi i=1,2,…,m (1—13)
式中Sxi,Sy为各自变量、依变量的标准差。
(1—11)
(1—12)
二、确定显著的F检验水准
为引入有显著作用的自变量,在进行逐步回归计算前,先要确定显著的F检验水准,作为引入或剔除变量的标准。F检验水准要根据具体情况而定。一般地,为使回归方程中包含较多的自变量,显著水准α不要定的太小。显著水准F的取值与自由度有关,而且在逐步回归的分析中,由于自变量引入和剔除的变化,其剩余自由度也在不断变化,若样本的观察数为n,自变量的个数为m,则剩余自由度为n-m-1。如果n相对较大,m与n就相差较大。m个自变量被引入的个数的多少对剩余自由度的影响也就不会太大。此时可确定一个固定的F检验值,不必每次查表更换之。但本例n=12,m=5,剩余自由度分别为6、7、8、9、10。其F值相差不太大,故可选一个共用检验的F值,作为引入和剔除自变量的标准。同时也要注意显著水准α的选定,不能太小,如本例可选α=,(1,6)=。亦可指定F值,如本例为F=5。
三、选取自变量
由(1-12)式得相关阵R(0):
R(0)=