二元线性回归.docx

1
第三章多元线性回归模型
基本要求：
1、理解多元线性回归模型的定义
2、理解多元线性回归模型的假定
3、掌握参数估计的计算
4、理解参数统计性质
第一节多元线性回归模型及假定
一、多元线性回归模型
许多经济现象往往
样本回归方程得到的被解释变量估计值Y与实际观测值Y之间的偏差称为残差e。iii
(3-8)
e=Y-Y=Y-(0+0X+0+・・・+0X)
iiii011i2ikiki
二、多元线性回归模型的假定
与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法（OLS）对参数进行估计时，有如下假定：
假定1零均值假定：E（卩）=0,i=1,2,…,n，即
i
E(p)二E
1
2
■
■
■
「E(卩):
1
E(卩)
2
■
■
■
二0
(3-9)
E(卩)
nn
假定2同方差假定（卩的方差为同一常数）：
Var（卩）=E（卩2）=a2,（i=1,2,…，n）
ii
假定3无自相关性：
Cov（卩,卩）=E（卩卩）=0,（i丰j,i,j=1,2,…,n）
ijij
5
E（心二E
H2
HH
…hh
1
1
12
1n
（H,卩，…，H）
=E
HH
H2
…hH
2
■
21
■
2
■
2n
••
■
■
12n
■
■
■
■
••
••
n
HH
n1
HH
n2
…H2
n
E（»2）
1
E（卩卩）
21
■
E（卩卩）
12
E（比）
2
…E（吓）
1n
…E（卩卩）
2n
••
E（»片）
=O21
un
（3-10）
假定4随机误差项卩与解释变量X不相关（这个假定自动成立）:
Cov（X,卩）=0,（j=1,2,…,k,i=1,2,…,n）
jii
假定5随机误差项卩服从均值为零，方差为◎2的正态分布:
卩〜N（0Q21）
i卩n
假定6解释变量之间不存在多重共线性：
rank（X）=k+1<n
即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵X的秩为参数个数k+i,从而保证参数BBB，…，B的估计值唯一。
012k
第二节多元线性回归模型的参数估计及统计性质
一、多元线性回归模型的参数估计
（一）回归参数的最小二乘估计
对于含有k个解释变量的多元线性回归模型
=B+BX+BX+・・・+BX+卩（i=1,2,…，n）
i011i22ikkii
设0,0，…,0分别作为参数B,B，…,B的估计量，得样本回归方程为:01k01k
=0+0X+0X+・・・+0X
i011i22ikki
8
观测值Y与回归值Y的残差e为：
iii
e=Y-Y=Y—(0+0X+0+・・・+0X)
iiii011i2ikiki
由最小二乘法可知0,0，…,0应使全部观测值Y与回归值Y的残差e的平方和最小，即使
01kiii
Q(0,0,0,…,0)=乙e2=乙(Y-Y)2
012kiii
=乙(Y-0-0X-0X0X)2(3-11)
i011i22ikki
取得最小值。根据多元函数的极值原理，Q分别对0,0，…,0求一阶偏导，并令其等于零，即01k
(3-12)
竺二0,(j二1,2,…,k)郎.
j
即
算=2工(Y-0-0X-0X0X)(-1)=0
Q0i011i22ikki
0
咚=2工(Y-0-0X-0X0X)(-X)=0
Q0i011i22ikki1i
1
翠=工(Y-0-0X-0X0X)(-X)=0
80i011i22ikkiki
k
化简得下列方程组
n0+0工X+0工X+・・・+0工X=工Y0乙X+0乙X2+0乙XX+・・・+0乙XX
201i11i22i1ikki
1i
丄XY
1ii
(3-13)
0工X+0工XX+0工XX+…+0工X2=工
10ki11iki22ikik
2iki
ki
XY
kii
9
5
上述(k+1)个方程称为正规方程，其矩阵形式为
n
工X
工X
…工X-
1八1
0
入0
「工Y]
工X
工X2
工XX
pki
…乙XX
0
1
工XY
1i
•
•
1i
•
2i1i
•
ki1i
••
••
••
0
2
•
•
•
八
=
1ii
•
•
工X
工XX
工XX
…工X2
工XY
ki
1iki
2iki
ki
0
k