二元线性回归.doc

1
第三章多元线性回归模型
基本要求：
1、理解多元线性回归模型的定义
2、理解多元线性回归模型的假定
3、掌握参数估计的计算
4、理解参数统计性质
第一节多元线性回归模型及假定
许多经济现象往往要受多个因素的影响，研究
E()
n2
••E()
1n•…E()
2n
••E()
n
2
0
…0
2
…0
0
:
•
・・
0
0
…2
2I
un
n
假定随机误差项与解释变量X不相关这个假定自动成立：
Cov(X,)・0,(j1,2,...,k,i1,2,...,n)
jii
假定随机误差项服从均值为零，方差为2的正态分布:
〜N(O,・2I)
in
假定6解释变量之间不存在多重共线性
rank(X)kln
即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵X的秩为参数个数,从而保证参数,,，…，的估计值唯一。
012k
第二节多元线性回归模型的参数估计及统计性质
(一)回归参数的最小二乘估计
对于含有k个解释变量的多元线性回归模型
XX…X(i・1,2,•…，n
i011i22ikkii
9
#
设，…，分别作为参数"0,,…,.的估计量，得样本回归方程为:01k01k
XX…X
i011i22ikki
10
#
观测值Y与回归值Y的残差e为:
iii
eY^YY(X…X)
iiii011i2ikiki
由最小二乘法可知应使全部观测值Y与回归值Y的残差e的平方和最小，即使
01kiii
Q(,,,€,)e2(Y0)2
012kiii
(YXX…X)2
kki
i011i2
2i
取得最小值。根据多元函数的极值原理，
Q分别对,,€,求一阶偏导，并令其等于零，即
01k
・o,(j・1,2,…,k)
j
・2.(YX
Ii011i
XX)()O
22ikki
0
Q(Y・XXX)(KX)O
i011i22ikki1i
QQ-(YXXX)(¥)O
i011i22ikkiki
k
化简得下列方程组
1・XX…Xy
011i22ikkii
XX2XX…XXXY
ki1i
01i11i22i1ikki1i1ii
XXXXX…X2XY
0ki11iki22ikikkikii
上述(kl)个方程称为正规方程，其矩阵形式为
n
X1
1i:X
ki
X
X12i
1i
X
2i
XX
2i1i
XX
1iki
XX
2iki
.
XoY€XI輕XY辛:…X2XY
kii
7
#
#
#
#
因为
13
#
n
X
X
X1
1i
X12i
1i
2i
XX
2i1i
:
•
•
X
ki
XX
1iki
XX
2iki
X
XXki
ki1i
X2
ki
11
12
1222
XX•:
—•m
n
1
XX
XX
1121
XX
1222
XX
1n2n
k1
X
k2
X
kn
X
11
12
和伙欹审
2
XX
X
1n
X
Y
2X
0
为估计值向量
样本回归模型YXe两边同乘样本观测值矩阵X的转置矩阵则有
14
#
X・・X・XU
得正规方程组：
x・x・
由假定，r(X)kn，X为(km)阶方阵，所以X满秩，X的逆矩阵(x・)
存在。因而
(X・)・x・
则为向量的估计量。
以二元线性回归模型为例，导出二元线性回归模型的估计量的表达式。由式得二元线
性回归模型为
YXX
i011i22ii
为了计算的方便，先将模型中心化。
1
15
#
X-X,xXX,j・1,2)jnji
i・
1
Y-Y,ynii
i・
xxpiqi
L
pq
L
jY
L
YY
jijij
,(p,q1,2)
xy,(j1,2)jii
y2
i
Y
i0
X
x・
22
x
1i
则二元回归模型改写为中心化模型。
2ii
x
11
x
12
x

x
22
0
x2
1i
xx
2i1i
xxX・
1i2i
x2
2i
Y
x1Yi
1ii
x2Y
2ii
1
16