应用统计学 6 线性回归分析.pdf

: .

如果这些次要因素的影响程度都比较低，则可将
其影响综合为随机因素ε，即随机误差。随机误
差的存在与否体现了确定型依存关系与非确定型
依存关系的根本区别。随机误差ε体现了自变量
X 取定值时因变量 Y 的变异。为统计研究方便并
不失一般性，通常对ε作如下假设：线性回归分析线性回归分析
⑴ 随机误差项εi 具有零均值和同方差，即
E (εi ) = 0 i=1,2,…,n
2
D (εi ) = σ i=1,2,…,n
⑵ 随机误差项在不同样本点之间相互独立，不
存在序列关系，即
Cov (εi ,εj ) = 0 i≠ j； i, j=1,2,…,n
⑶ 随机误差εi 具有服从正态分布，即
2
εi ～ N (0,σ )线性回归分析线性回归分析
⑷ 自变量 X 是完全独立的确定性变量；
⑸ 因变量 Y 与自变量 X 之间存在显著的线性关
系，即模型是线性的。线性回归分析线性回归分析
三、最小二乘法
当 x=xi 时，有 y 的观测值 yi 。若 yˆ与 x 的关系为
yˆ=b0 +b1 ×x
则可得到在直线上与 xi 相对应的值 yˆi，即
yˆi =b0 +b1 ×xi i=1,2,…,n
ˆ
而 yi 与 yi之间的关系满足于
i=1,2,…,n
yi = yˆi +ei =b0 +b1 ×xi +ei
显然，
ei = yi -yˆi = yi -b0 -b1 ×xi i=1,2,…,n线性回归分析线性回归分析
作为衡量 yˆ与 y 的实际观测值拟合程度的指
标，如果用åei 最小，则由于会出现正负误差抵
消的情况；若用å ei 最小，则会给计算带来困
难。这里，一般采用误差平方和2 最小作为计
åei
算拟合直线的准则，将其记为θ，θ是β0、β1 的
函数。 2 2
q =q (b 0 , b1 ) = å (yi - yˆi ) = å (yi - b0 - b1 × xi )
以θ的大小作为实际观测值与估计值间的总误
ˆ ˆ bˆ，bˆ
差，显然要求θ应在所有估计中最小b0，b1 0 1 。若使q (b0θ, b值1 )
最小的β 、β 的值为2 ，而 就是使
= å (yi - 0b0 - b11 × xi )
达到极小值的β0、β1 。线性回归分析线性回归分析
由二元函数极值原理知，它应满足于
ì¶q (b 0 , b1 ) ¶b 0 = 0
í
î ¶q (b 0 , b 1 ) ¶b 1 = 0
由此可得
ì
å2×(yi -b0 -b1 ×xi )×(-1) =0
í
îå2×(yi -b0 -b1 ×xi )×(-xi ) =0
此即
ì
å yi = n×b0 + b1 ×å xi
í 2
îå xi × yi = b0 ×å xi + b1 ×å xi线性回归分析线性回归分析
记
x = åxi n y = åyi n
则上述方程组可变换为
ìy = b0 + b1 × x
í