多元线性回归分析的基本思想和方法.doc

多元线性回归分析的基本思想和方法
2

———————————————————————————————— 作者：
———————————————————————————————— 日期：

第一节 引言
    在第一章我们讨论了因变量y只与一个自变量x有关的一元线性回归问题。但在实际中我们常常会遇到因变量y与多个自变量有关的情况,这就向我们提出了多元回归分析的问题。多元回归中最简单的是多元线性回归。多元线性回归分析的基本思想和方法与一元线性回归分析是相同的,即使残差平方和Q达到最小值。但是，由于多元线性回归分析涉及多个变量之间的相关关系，使问题变得更加复杂。
    假设随机变量y与p个自变量之间存在着线性相关关系，实际样本量为n,其第i次观测值为
    则其n次观测值可写为如下形式：
     （2-2—1）
    其中 是未知参数， 是p个可以精确测量并可控制的一般变量， 是随机误差。和一元线性回归分析一样，我们假定 是相互独立且服从同一正态分布N（0， ）的随机变量 。
    若将方程组(2—2-1）用矩阵表示，则有
(2-2-2）
    式中
3

 多元线性回归分析的首要任务就是通过寻求 的估计值b,建立多元线性回归方程
（2—2-3）
    来描述多元线性模型
     （2—2—4)
    本章主要介绍以下内容：用最小二乘原理估计 和 ，对回归方程和回归系数的显著性进行检验,利用回归方程进行予报和控制，以及在估计 的过程中解线性方程组要用到的高斯消去法和消去变换。
第二节 多元线性回归方程的建立
    建立多元线性回归方程，实际上是对多元线性模型（2-2—4）进行估计，寻求估计式（2-2-3)的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解 使全部观测值 与回归值 的残差平方和达到最小值。由于残差平方和
（2-2-5）
    是 的非负二次式，所以它的最小值一定存在.
    根据极值原理，当Q取得极值时, 应满足
4

    由（2—2-5）式,即满足
(2—2—6）
    （2—2-6)
(2-2—7）
    如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有
（2—2-8）
　
5

 式中X是多元线性回归模型中数据的结构矩阵, 是结构矩阵X的转置矩阵。
 (2-2—7）式右端常数项也可用矩阵D来表示
    即

    因此(2—2-7）式可写成
Ab=D （2—2-10）
    或
（2—2—11）
如果A满秩(即A的行列式 ）那么A的逆矩阵A—1存在,则由（2-10)式和（2-11)式得 的最小二乘估计为
（2—2-12）
  也就是多元线性回归方程的回归系数。
  为了计算方便往往并不先求 ，再求b，而是通过解线性方程组（2-2—7）来求b。（2—2—7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为
(2—2—13）
    式中
6