线性回归分析讲义.docx

线性回归分析
一、 变量间的两类关系
在现实世界的许多问题中，，变量之 知、可以用函数关系来描述的，例如电学中的欧姆定律V = IR£
i = 1 i = 1 i = 1
（）
记 L =£ (x - X )(Y - Y) = ExY-nX・Y = ExY-1(乙)&) xy i i i i i i n i i
i=1 i=1 i=1 i=1 i=1
L =E(x -x)2 =]Lx2 -nx2 =Xx2 -1(:Lx )2
i=1 i=1 i=1 n i=1
L =L(Y - Y)2 =LY2-nY2 =Ly2 - 1(Ly)2 yy i=1 i=1 i=1 n i=1
解()可得
b = L IL
< xy t xx
a = y - bx
（）
称方程
y = a + bx
为线性回归方程，其图形称为回归直线.
除了估计回归系数a,b外，还需估计未知参数a 2 .注意到b2反映出观测
误差的大小，样本中有关a2的信息可由回归方程的残差
来体现，称
为残差平方和.
工e 2 =£ (Y-Y )2 =£ (Y - a - bx )2
i
S =J e 2 e i i
i =1 i=1
可以证明：
件2 〜Z2(n-2)
i
i =1
()
八 S
a 2，这说明a 2 =
n -2是2的一个无偏估计.
为便于计算，通常将5°作如下分解：
S =工(Y -Y)2 =工[Y -Y-(Y -Y)]2 e i i i i
i=1 i=1
=丈[Y - Y - b(x - x)]2
i=1
=乙(Y - Y )2 -2b乙(Y - Y)(x - x) + (b)2 乙(x - x)2
i=1 i=1
一人 .人 人
=L - 2bL + (b)2 L = L - bL
二 ” xx yy " 即 Se -bLxy
i i=1
()
例2求例1中Y关于x的回归方程，并求a2的无偏估计a2.
解经计算得
L =
L
xy
=
L =
yy
x = y =
代入得
L
b =工= L
y - bx =
于是回归直线为
? = +
。2的估计值为
£2 =\ S ——\— (L — bL ) = n — 2 e n — 2 jj ◎
四、线性假设的显著性检验
从以上求回归直线的过程可以看出，对任意给出的n对观测数据 (七,j,)(，= 1,2,・..,n)，不管Y与x是否真的有线性关系，都可以求出Y对x的回归 直线，但这样给出的回归直线不一定有意义.
要判断回归直线是否有意义，就必须对回归方程是线性的假设作显著性检
E(Y)—日(x) — a + bx
中，如果b = 0，则表示Y不依赖x而变化，那么这时求出的回归方程就没有意义，
称回归方程不显著；如果b主0，那么当x变化时，E(Y)随x的变化而线性变化， ，对回归方程是否有意义作判断 就是要作如下 的显著性检验：
()
H 0: b = 0 f H" b 丰 0
考虑b的最小二乘估计b，可以证明
人 一
b 〜N(b, ° 2 /L ) ■' xx
又由()式，知
(n — 2)6 2 S / c、
=f 〜X2(n — 2) 6 2 6 2
A ・ 一一
且b与S相互独立，故统计量
e
()
在H为真时，检验统计量可取 0
b
()
=L 〜t(n - 2)
b 、 xx
在水平a下，检验的拒绝域为
L >t (n - 2)
xx a
()
°时，回归方程是显著的， 之，就认为回归方程是不显著的.
由于若t - t(n -2)，有12〜F(1，n — 2)，因此检验统计量也可以取
b 2 bL
F = bT^Lxx = S 福-2)
仿照方差分析的做法，数据总的偏差平方和记为
S =寸(Y - Y )2 = L
i=1
n 人 _ 人
称 S