第10章线性回归分析.ppt

第10章线性回归分析
例 一个假想的社区有100户家庭组成，要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。
即如果知道了家庭的月收入，能否预测该社区家庭的平均月消费支出水平。
收集了这100户家庭收入的方差是最小的。
具体来说
模型是线性的
是线性的
假设（2）、（6）
是无偏的
假设（3）、（4）
具有最小方差
注：对于 是BLUE来说，（5）是不必要的。但是如果（5）成立，则还能保证 也服从正态分布。
多元线性回归
在实际问题中，常常需要研究一个被解释变量，多个解释变量的线性回归模型
例 （详见《商务与经济统计》）位于南加州的巴特勒运输公司的管理人员为制定最佳的工作计划，希望估计他们的司机每天行驶的时间。
起初，公司管理人员认为，司机每天行驶的时间与每天运送货物行驶的里程密切相关，通过观察散点图，管理人员假设，能利用一元线性回归模型
来描述行驶的小时数（Y）与行驶的英里数（X）之间的关系。
对公司的实际数据，采用普通最小二乘法估计出回归方程为
通过对方程的分析，公司的管理人员发现，虽然这一结果不错，%。因此希望增加第二个解释变量去解释剩下的变异性。
管理人员在研究其它影响行驶时间的因素时，觉得运送货物的次数也会影响行驶的时间。因此在增加了一个解释变量—运送货物的次数，以及相应的数据后，再进行回归分析，得到的回归方程具有形式
管理人员现在发现，%。这已是相当好的结果了。
多元线性回归模型的基本假设（高斯假设）
多元线性回归模型的矩阵表示
多元线性回归模型
应该对所有的样本数据都成立，因此有
这是n个表达式。回归分析的目的就是利用由样本数据产生的这n个表达式估计模型的参数，得到模型的参数估计值 使得回归方程
最好地拟合了所有样本数据。
为便于讨论，对多元线性回归模型，常使用矩阵形式
其中
高斯假设
（1）u是随机向量；
（2）E ( u ) = 0 ；
这里
所以这一假设就是要求所有的随机扰动项的期望值为零。即
（3） ；
这里
因此条件（3）意味着
这等价于 并且
也即所有扰动项方差相等，并且不存在序列相关。
（4）
注意这一条件是用矩阵形式给出的。这相当于
（5）要求所有变量Xji是非随机的；或变量Xji虽然是随机的，但与ui不相关。
用数学表达式的形式，后者就是
（6）秩
这里实际上是两个判断，一个是 而另一个则是k < n。
在（6）中的要求k < n，实际上是要求样本数据的数量n大于解释变量的个数（或待估计的参数的个数）k。而注意到矩阵X为
因此意味着矩阵X的行数大于列数。而要求
意味着矩阵X是满列秩的，即其所有列向量线性无关。并且这一条件蕴涵矩阵XTX正定（从而非奇异）。
其他假设：
（7）行列式|XTX|远离零。
普通最小二乘估计式
现在仍采用矩阵的记法，多元线性回归模型为
若得到了参数的估计量 则相应的回归方程为
于是残差向量为
普通最小二乘法就是要确定参数的估计值 使残差平方和
达到最小。
由于残差的平方和可以表示为
而
要使残差的平方和最小就必须 ，即
这就是所谓的正规方程组，其解就是要求的估计量。
由条件（6）可知矩阵 可逆。因此正规方程组的解为
这就是要求的普通最小二乘(OLS)估计量。
普通最小二乘估计量的性质
高斯—马尔柯夫定理：若关于多元线性回归模型的高斯假设中除了（4）外，其他假设都满足，则普通最小二乘估计量 是最优线性无偏估计量（BLUE）。若当 时， 收敛于非奇异矩阵，则普通最小二乘估计量 还是一致估计量。
由上述定理可知，在高斯假设下，多元线性回归模型的普通最小二乘估计量具有非常好的统计性质。
具体来说
模型是线性的
OLS估计量是线性的
假设（2）、（5）
OLS估计量是无偏的
假设（3）
OLS估计量具有最小方差
假设（6）
OLS