回归分析教程.docx

回归分析
多元回归分析
多元回归分析概述
现实生活中，一个被解释变量往往受到多个因素的影响，比如，GDP的增长受投资、消 费、出口的拉动；商品的消费需求，不但受商品本身的价格影响，还受到消费者的偏好)
并称
y = P + P x + P x + ... + P x ()
0 1 1 2 2 p p
为经验回归方程。
)
e)' = y - y为回归残差向量。 n
为 y (i = 1,2,..., n)的残差。e =( e， e ，..，
i 1 2
误差项方差a 2的无偏估计为
1
SSE
n- p -1
1
(e'e)
n- p -1
=—— Z e 2 ()
n- p -1 i i=1
回归参数的最大似然估计(MLE
多元线性回归参数的MLE与一元线性回归时MLE的思想也是一致的。并且在正态假定的
条件下，回归参数p的MLE与OLSE完全相同，即
p= (X'X)-1X'y
误差项方差a 2的MLE为
d 2 = 1 SSE =丄(e'e)
L n n
这是a 2的有偏估计，但是它满足一致性。在大样本的情况下，是a 2的渐近无偏估计量。
方差分析与回归参数检验
在实际问题的研究中，我们不能事先确定随机变量y与x，x，., x之间是否存在线 1 2 p
x ， x ，... ，
12
性关系，只能根据定性分析所作的假设，用多元线性回归方程去拟合随机变量 y 与变量
x 之间的关系。因此，在求出线性回归方程后，还需要对方程进行显著性检验。 p
面介绍两种统计检验方法，一种是回归方程显著性的 F 检验，另一个是回归系数显著性 的t检验。
(1) F 检验
对多元线性回归方程的显著性进行F检验就是要看自变量x , x ,., x从整体上对随
1 2 p
机变量 y 是否具有明显的影响。为此提出原假设：
H :卩=卩=...=卩
0 1 2 p
如果H被接受，则表明随机变量y与x，x,..., x之间的关系式由线性回归模型表示不合 0 1 2 p
适。
在SPSS中可以通过方差分析表(参见表9-1)来进行F检验的分析和判断。
表9—1 方差分析表
方差来源
平方和
自由度
均方
F值
P值
回归
SSR
P
/
SSR
T-P——
SSE/
■ n - p - 1
残差
SSE
n - p - 1
sse/
'n - p - 1
P （F > F 值）
=P值
综合
SST
n — 1
当P值＜d时，拒绝原假设H，认为在显著性水平«下，y对x , x,., x有显著
0 1 2 p
的线性关系，也即回归方程是显著的。更通俗一些说，就是接受“自变量全体对因变量产生 线性影响”这一结论犯错误的概率不超过a ;反之，当P值＞d时，接受原假设H°,则认 为回归方程不显著。
(2) 回归系数的显著性检验
在多元线性回归中，回归方程显著并不意味着每个自变量对y的影响都显著，因此我们 希望从回归方程中剔除那些次要的、可有可无的变量，重新建立更为简单的回归方程。所以 就需要我们对每个自变量进行显著性检验。
显然，如果某个自变量x对y的作用不显著，那么在回归模型中，它的系数0就取值 ji
为零。因此，检验检验变量x是否显著，等价于检验假设
j
H : 0 . = 0 , j = 1,2,…，p
0 j i
如果接受原假设，则x不显著；如果拒绝原假设，则x是显著的。在SPSS中可以通过t jj
统计量的值与显著性水平来进行判断(参见表9-2)。
表9—2冋归系数估
百计检验表
模型
非标准化系数
标准化系数
t值
P值
常量
自变量
系数
八
0 • j
标准误差
©
刀
p（ U > t 值）
=p值
t 统计量为
八
p
t = 匚
7 — b ()
其中
(X 'X) -1 = (c
)
ij
i， j = 0,1,2, ， p
.:1 b =
工
e 2 = 1 为(y - y )2
n - p - 1
i 二 1
i n - p -1 i 「
i=1
（）
是回归标准差。
当原假设H
:p
=0成立时，（）式构造的t
统计量服从自由度为n - p - 1的t分
0jjj
布。对给定显著性水平a，当P值＜a时拒绝原假设H : P = 0，认为卩显著不为零，
0jjj
自变量x对因变量y的线性效果显著；当P值＞a时接受原假设H : P =0，认为卩为