5 多元线性回归分析.ppt

多元线性回归分析一、多元线性回归动因?1、?将某些因素从误差项中分离出来,使估计更为准确?使零条件均值假定更能成立?2、?可以加入非线性关系?3、零条件均值假定变为对所有 x的组合,误差项的期望值都为 0 0 1 2 exp wage educ er ? ? ??? ? ?? 2 0 1 2 cons inc inc ? ???? ???二、多元线性模型形式 1? k? 0 1 1 2 2 3 3 ... k k y x x x x ? ?????? ???????多元线性回归模型: ?截距?斜率参数?误差项? 0??零条件均值假定: 1 2 3 ( | , , ... ) 0 k E x x x x ??三、多元线性回归与一元线性回归的比较?简单回归与多元回归估计值的比较?为 x2 对 x1 的简单回归?用简单回归时?1、 x1 与 x2 不相关?2、 x2 对y的偏效应为 0. ??? 0 1 1 0 1 2 1 2 1 1 1 2 y x y x x ? ?? ??? ???? ?? ??? ?? 1?四、多元线性回归的向量描述?向量描述: 0 1 1 2 2 1 2 3 1 2 3 0 1 2 ... , , , , , , 1, 2,..., ( , , ... ) ' (1, , , ... ) ' ( , , ,... ) ' ' i k k n i i i i ik k i i i y x x x i n y y y y y x x x x x y x ? ????? ????? ?? ?????????? ?五、参数的估计?普通最小二乘法( OLS ) ?选择矩阵?最小化?最佳线性估计,唯一条件是可逆?即非共线性假设,任何一个变量不是其它变量的线性组合? 2 1 ( ) ( ' ) n i i i S y x ? ??? ?? 1 1 1 ( ') n n i i i i i i x x x y ??? ??? ? 1' n i i i x x ???拟合值?残差: ?由推导过程得出: ' i i y x ???' i i i i i y y y x ? ?? ???? 1 1 ( ' ) 0 i n n i i i i i i x y x x ? ?? ?? ??? ?六、参数的解释?在其他情况不变的条件下,一种解释变量对被解释变量的影响 1 2 , ? ?具有偏效应七、多元线性回归的矩阵描述?矩阵描述: 1 2 3 0 1 2 12 1 1 21 (1, , , ... ) ' ( , , ,... ) ' 1, ,..... '.......... ........... ' 1, ,..... .. i i i i ik kkn n nk n x x x x x x x xXx x x yyy ? ??????? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ??? ?? ?? ?