多元线性回归分析的基本思想和方法.doc

第一节引言
    在第一章我们讨论了因变量y只与一个自变量x有关的一元线性回归问题。但在实际中我们常常会遇到因变量y与多个自变量有关的情况,这就向我们提出了多元回归分析的问题。多元回归中最简单的是多元线性回归。多元线性回归分析的基本思想和方法与一元线性回归分析是相同的,即使残差平方和Q达到最小值。但是,由于多元线性回归分析涉及多个变量之间的相关关系,使问题变得更加复杂。
    假设随机变量y与p个自变量之间存在着线性相关关系,实际样本量为n,其第i次观测值为
    则其n次观测值可写为如下形式:
     (2-2-1)
    其中是未知参数, 是p个可以精确测量并可控制的一般变量, 是随机误差。和一元线性回归分析一样,我们假定是相互独立且服从同一正态分布N(0, )的随机变量。
    若将方程组(2-2-1)用矩阵表示,则有
(2-2-2)
    式中
 多元线性回归分析的首要任务就是通过寻求的估计值b,建立多元线性回归方程
(2-2-3)
    来描述多元线性模型
     (2-2-4)
    本章主要介绍以下内容:用最小二乘原理估计和,对回归方程和回归系数的显著性进行检验,利用回归方程进行予报和控制,以及在估计的过程中解线性方程组要用到的高斯消去法和消去变换。
第二节多元线性回归方程的建立
    建立多元线性回归方程,实际上是对多元线性模型(2-2-4)进行估计,寻求估计式(2-2-3)的过程。与一元线性回归分析相同,其基本思想是根据最小二乘原理,求解使全部观测值与回归值的残差平方和达到最小值。由于残差平方和
(2-2-5)
    是的非负二次式,所以它的最小值一定存在。
    根据极值原理,当Q取得极值时, 应满足
    由(2-2-5)式,即满足
(2-2-6)
    (2-2-6)式称为正规方程组。它可以化为以下形式
(2-2-7)
    如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有
(2-2-8)

 式中X是多元线性回归模型中数据的结构矩阵, 是结构矩阵X的转置矩阵。
 (2-2-7)式右端常数项也可用矩阵D来表示
    即

    因此(2-2-7)式可写成
Ab=D (2-2-10)
    或
(2-2-11)
如果A满秩(即A的行列式)那么A的逆矩阵A-1存在,则由(2-10)式和(2-11)式得的最小二乘估计为
(2-2-12)
  也就是多元线性回归方程的回归系数。
  为了计算方便往往并不先求,再求b,而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组,它的第一个方程可化为
(2-2-13)
    式中
(2-2-14)
    将(2-2-13)式代入(2-2-7)式中的其余各方程,得
(2-2-15)
    其中
(2-2-16)
    将方程组(2-2-15)式用矩阵表示,则有
Lb=F (2-2-17)
    其中

    于是
b=L-1F (2-2-18)
  因此求解多元线性回归方程的系数可由(2-2-16)式先求出L,然后将其代回(2-2-17)式中求解。求b时,可用克莱姆法则求解,也可通过高斯变换求解。如果把b直接代入(2-2-18)式,由于要先求出L的逆矩阵,因而相对复杂一些。
  例2-2-1 表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x1)、土壤内溶于K2CO3溶液并受溴化物水解的有机磷浓度(x2)以及土壤内溶于K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求y对x1, x2, x3的线性回归方程  。
表2-2-1 土壤含磷情况观察数据
    计算如下:
    由(2-2-16)式
 
 
 代入(2-2-15)式得
(2-2-19)
    若用克莱姆法则解上述方程组,则其解为
(2-2-20)
    其中
    计算得
b1=,b2=-,b3=
     回归方程为
  应用克莱姆法则求解线性方程组计算量偏大,下面介绍更实用的方法——高斯消去法和消去变换。
第三节高斯消去法与消去变换
    从上节的讨论我们知道,要建立多元线性回归方程需要求解线性方程组。当n较大时解线性方程组变得相当困难。本节介绍的高斯消去法与消去变换是目前用来解多元线性方程组的方法中比较简单可行的方法。
    一、高斯消去法
    高斯消去法就是通过矩阵的行变换达到消元的目的,从而将方程组的系数矩阵由对称矩阵变为三角矩阵,最后获得方程组的解。