2021年线性回归分析.ppt

变量之间的关系有两种：
确定型的函数关系
不确定型的函数关系
这里主要研究不确定型的函数关系，如收入与受教育程度之间的关系，等等问题。 但它们之间存在明显的相互关系（称为相关关系），又是不确定的。
回归分析是研究随机变量之间相关关系的统计方法。其研究一个被解释变量（因变量）与一个或多个解释变量（自变量）之间的统计关系。
线性回归分析
2021/1/15
1
例：人均收入 X 与人均食品消费支出 Y 的散点图的关系如图。
。
一. 一元线性回归
人均收入X
人均食品支出 Y
线性回归分析
2021/1/15
2
这两个变量之间的不确定关系，可以用下式表示：
式中，人均食品消费支出Y 是被解释变量， 人均收入 X 是解释变量，1， 2是待估计参数；u 是随机干扰项， 且与 X 无关， 它反映了 Y 被 X 解释的不确定性。
如果随机干扰项 u 的均值为 0， 对上式求条件均值，有
反映出从“平均”角度看，是确定性关系。
线性回归分析
2021/1/15
3
例：地区的多孩率与人均国民收入的散点图如下：
人均收入X
多孩率 Y
这两个变量之间的不确定关系，大致可以用下式表示：
设 Z =Ln X ，可将上式线性关系为：
线性回归分析
2021/1/15
4
线性回归的任务：就是用恰当的方法，估计出参数 1， 2 ，并且使估计出来的参数具有良好的统计特征，所以，回归问题从某种视角看，视同参数估计问题。
如果把X，Y的样本观测值代到线性回归方程中，就得到
i =1,2, …,n, n为样本容量.
从重复抽样的角度看， Xi，Yi也可以视为随机变量。
线性回归分析
2021/1/15
5
2. 高斯基本假设
对于线性回归模型
i =1,2, …,n, n为样本容量.
高斯基本假设如下:
ui 为随机变量 ( 本假设成立, 因为我们研究就是不确定关系).
E(ui) =0, 随机干扰项的期望值等于零(本假设成立, 如果其均值不是零, 可以把它并入到 1 中).
Var(ui) =2u , 随机干扰项的方差等于常数(本假设有可能不成立, 以后讨论不成立时如何处理).
E(uiuj)=0 (ij) 随机干扰项协方差等于零(本假设
线性回归分析
2021/1/15
6
有可能不成立, 以后讨论不成立时如何处理).
(5) ui 服从 N(0, 2u )分布;
(6) E(Xiuj)=0, 对Xi 的性质有两种解释:
a. Xi 视为随机变量, 但与uj无关, 所以(6)成立.
b. Xi 视为确定型变量, 所以(6)也成立.
线性回归分析
2021/1/15
7
3. 普通最小二乘法 (OLS)
设线性回归模型
其中
为1， 2 的估计值, 则 Y 的计算值Ŷ, 可以
用下式表达:
所要求出待估参数 , 要使 Y 与其计算值Ŷ之间的“误差平方和”最小. 即： 使得
最小. 为此, 分别求Q 对 的偏导, 并令其为零:
线性回归分析
2021/1/15
8
由上两式, 就可求出待估参数 的值.
4. 所求参数的计算公式
的另一个表达式为:
线性回归分析
2021/1/15
9
5. 几何解释
残差向量 e =Y – Ŷ = (Y-Y) - (Ŷ-Y) = y- ŷ
向量 y, ŷ, e 三者之间关系如图所示,
普通最小二乘法要使残差平方和  e2i 最小, 也就是要使 e 的长度尽可能小, 等价于在几何上 e  x . 或者说, ŷ 的长度应当是 y 在 x 上的投影长度.
y
x
e
线性回归分析
2021/1/15
10