回归分析精品.ppt

在现实生活中,变量与变量之间经常存在一定的关系,一般来说,可分为两大类,一类是确定性的关系,这种关系通常用函数来表示;另一类是非确定性关系,变量之间的这种非确定性关系通常称为相关关系。
回归分析就是数理统计中研究相关关系的一种数学方法,它就是通过大量的试验或观测,发现变量之间关系的统计规律,它在工农业生产和科学研究各个领域中均有广泛应用。回归分析一般分为线性回归分析与非线性回归分析。
本次课程着重介绍线性回归分析,它是两类回归分析中较为简单的一类,也是应用得较多的一类。
四、线性回归模型
为了研究方便,我们考虑一个变量受其它变量影响时,把这变量称为因变量,记为Y,其它变量称为自变量,记为X,这时相关关系可记作
Y=f(x)+ε
其中f(x)为当X=x时,因变量Y的均值,即
f(x)=E(Y|X=x)
称f(x)为Y对X的回归函数,ε为Y与f(x)的偏差,它是一个随机变量,假定E(ε)=0。
回归函数可以是一元函数,也可以是多元函数,即 Y=f(x1,x2,…,xm)+ε
其中,f(x1,x2,…,xm)= E(Y|X1=x1,X2=x2,…Xm=xm)为m元回归函数,统称为多元回归函数。
m =1, 称为一元线性回归;
m>1,称为是多元线性回归;
若f(x1,x2,…,xm)是非线性函数,则称为非线性回归。
问题(水泥凝固时放出热量问题)
某种水泥在凝固时放出的热量y(卡/克)与水泥中下列4种化学成份有关。
x1:3CaO·Al2O3的成份(%)
x2:3CaO·SiO2的成份(%)
x3:4CaO·Al2O3·Fe3O3的成份(%)
x4:2CaO·SiO2的成份(%)
现记录了13组数据,列在表1中,根据表中的数据,试研究y与x1,x2,x3,x4四种成份的关系。
表1
编号
x1(%)
x2(%)
x3(%)
x4(%)
y (卡/克)
1
7
26
6
60

2
1
29
15
52

3
11
56
8
20

4
11
31
8
47

5
7
52
6
33

6
11
55
9
22

7
3
71
17
6

8
1
31
22
44

9
2
54
18
22

10
21
47
4
26

11
1
40
23
34

12
11
66
9
12

13
10
68
8
12

一般地,多元线性回归模型可表示为
建立线性回归模型
其中, 是未知参数,为了估计这些参数,将表1的值代入模型得
其中,x1,x2,…,xm是自变量,b0 , b1,b2,…,bm为回归系数且未知,统称为回归参数,一旦回归参数确定,则多元线性回归模型就完全确定,一般假定随机误差
为了得到回归参数的估计值,就要对变量进行观测,假设对变量的n(n>m)次独立观测数据为
(yi,xi1,xi2,…,xim),i=1~n,
则这些观测数据应满足上式,即有
则多元线性回归的数学模型式可以写成矩阵形式
若记
为了获得参数β的估计,我们采用最小二乘法,即选择β,使
达到最小。
将Q(β)对β求导数并令其为零,得
回归系数的最小二乘估计
模型参数估计
此方程称为正规方程,其中 X 为n×(m+1) 阶矩阵,一般假定rank(X)=m+1,由线性代数理论可知,L=XTX为满秩矩阵,它的秩rank(L)=m+1,则正规方程有唯一解,记作
即
记,则