线性回归分析法.doc

- -.
- - 总结
一元线性回归分析和多元线性回归分析
一元线性回归分析

当只有一个自变量时，称为一元回归分析（研究因变量和自变量之间的相关关系）；当自变量有两个或多个时，则称为多元回归分析（研究因变量和自变量，，…，之间的相关关系）。如果回归分析所得到的回归方程关于未知参数是线性的，则称为线性回归分析；否则，称为非线性回归分析。在实际预测中，某些非线性关系也可以通过一定形式的变换转化为线性关系，所以，线性回归分析法成为最基本的、应用最广的方法。这里讨论线性回归分析法。

回归分析法的基本步骤如下：
搜集数据。
根据研究课题的要求，系统搜集研究对象有关特征量的大量历史数据。由于回归分析是建立在大量的数据基础之上的定量分析方法，历史数据的数量及其准确性都直接影响到回归分析的结果。
设定回归方程。
以大量的历史数据为基础，分析其间的关系，根据自变量与因变量之间所表现出来的规律，选择适当的数学模型，设定回归方程。设定回归方程是回归分析法的关键，选择最优模型进行回归方程的设定是运用回归分析法进行预测的基础。
确定回归系数。
将已知数据代入设定的回归方程，并用最小二乘法原则计算出回归系数，确定回归方程。这一步的工作量较大。
- -.
- - 总结
进行相关性检验。
相关性检验是指对已确定的回归方程能够代表自变量与因变量之间相关关系的可靠性进行检验。一般有检验、检验和检验三种方法。
进行预测，并确定置信区间。
通过相关性检验后，我们就可以利用已确定的回归方程进行预测。因为回归方程本质上是对实际数据的一种近似描述，所以在进行单点预测的同时，我们也需要给出该单点预测值的置信区间，使预测结果更加完善。
3. 一元线性回归分析的数学模型
用一元线性回归方程来描述和之间的关系，即
（=1，2，…，）（2-1）
式中，和分别是自变量和因变量的第观测值，和是回归系数，是观测点的个数，为对应于的第观测值的随机误差。假设随机误差满足如下条件：①服从正态分布；②的均值为零，即；③的方差等于；④各个间相互独立，即对于任何两个随机误差和，其协方差等于零，即，。
基于上述假定，随机变量的数学期望和方差分别是
（2-2）
如果不考虑式中的误差项，我们就得到简化的式子
- -.
- - 总结
（2-3）
该式称为对的一元回归模型或一元回归方程，其相应的回归分析称为一元线性回归分析。依据这一方程在直角坐标系中所作的直线就称为回归直线。
4. 回归参数的估计
回归模型中的参数与在一般情况下都是未知数，必须根据样本观测数据来估计。确定参数与值的原则是要使样本的回归直线同观察值的拟合状态最好，即要使得偏差最小。为此，可以采用最小二乘法的办法来解决。对应于每一个，根据回归直线方程式（2-3）可以求出一个，它就是的一个估计值。估计值和观测值之间的偏差。要使模型的拟合状态最好，就是说要使个偏差平方和最小为标准来确定回归模型。
为了方便起见，记
，，，
则式（2-1）用矩阵形式表示为
（2-4）
设为误差的负估值，称为的改正数或残差，为回归参数的估值，则可以写出类似于参数平差的误差方程