回归分析概要多元线性回归模型.docx

第二章回归分析概要
第五节多元线性回归分析
一模型的建立与假定条件
在一元线性回归模型中，我们只讨论了包含一个解释变量的一元线性回归模型，也就是 假定被解释变量只受一个因素的影响。但是在现实生活中，一个被解释变量往往受到多个因 素的影、 y
1
"2
r = i
、yT ’
(T x1) 、
1
1
1
1
%••气j
r
1
〔P〕
p0
2
r
+ <
〕
1
u2
u r
3
p
u
k
(k x1)
T
(T x1)
(T x k)
X1••七•••％
气1…气广％
广.％ k
可以简化为:
Y = X& + "—总体回归模型的简化形式。
假定条件
与一元线性回归模型的基本假定相似，为保证得到最优估计量，多元线性回归模型应满 足以下假定条件：
假定1随机误差项u满足均值为零，其方差b 2相同且为有限值。
假定2随机误差项之间相互独立，无自相关。
假定3解释变量X" j = 1,2,3,...,k之间线性无关，即解释变量的样本观测值矩阵式满秩矩
阵，否则称解释变量之间存在多重共线性（与课本假定7合并）。
假定4解释变量x『j = 1,2,3,...,k是确定性变量，与误差项彼此之间相互独立。
假定5解释变量是非随机变量，且当Tr 8时，T-1XX r Q，。是一个有限值的非奇异
矩阵。
假定6随机误差项服从正态分布。
假定7回归模型是正确设计的。
二、最小二乘法
根据最小二乘法的原则，总体回归模型可以推导为样本回归模型，即：
Y = XP + u
其中，p =（BB...B）是p的估计值列向量，u =（Y-xp）称为残差列向量。 0 1 k
因为，u = Y — xp，所以，u也是Y的线性组合。
关于多元线性回归模型中样本容量的问题：
（1） 最小样本容量
在多元线性回归模型中，样本容量必须不少于模型中解释变量的数目（包括常数项），这就
是最小样本容量，即：n > k +1。
（2） 满足基本要求的样本容量
一般经验认为，当n > 30或者至少n > 3（k +1）时，才能说满足模型估计的基本要求。
三、多元可决系数与调整后的多元可决系数
类似于一元线性回归模型的情形，我们对估计的回归方程关于样本观测值的拟合优度进 行检验，而检验的统计量是可决系数。因是多元回归，样本可决系数R2就称为多元可决系 数。
对于多元线性回归模型的情形，一元线性回归模型的总离差平方和的分解公式依然成立，即：
TSS= ESS +RSS
其中，TSS的自由度为n-1，n表示样本容量，
ESS的自由度为k，k表示自变量的个数，
RSS的自由度为n-k-1。
“ ESS 、 RSS
R 2 = = 1 一 一
TSS TSS
我们在模型应用中发现，如果在模型中增加一个解释变量，R2往往会增大。这是因为
残差平方和往往随着解释变量个数的增加而减少，至少不会增加。这就给人一个错觉：要使 模型拟合得好，只要增加解释变量就可以了。但是，现实情况往往是，由增加解释变量个数 引起的R 2的增大与拟合好坏无关，因此，在多元线性回归模型之间比较拟合优度，R 2就不
是一个合