线性回归分析.pptx

二、基本概念
1、应变量(dependent variable)
2、自变量(independent variable)
3、一元线性回归
直线回归方程的模型是:yi=a+bxi+ei
其中
(1)a是截距
(2)b是回归系数(regression coefficient)(回归直线的斜率)
回归系数的统计学意义是:自变量每变化一个单位,应变量平均变化的单位数.
(3)ei是残差
库文档分享
因此直线回归方程的一般形式是:
其中是应变量y的预测值或称估计值。
库文档分享
4、多元线性回归
多元线性回归方程模型为:
yi=b0+b1x1i+b2x2i+…+bnxni+ei
其中
b0是常数项,是各自变量都等于0时,应变量的估计值。有时,人们称它为本底值。
b1,b2,…,bn是偏回归系数( pertial regression coefficient ),其统计学意义是在其它所有自变量不变的情况下,某一自变量每变化一个单位,应变量平均变化的单位数。
如果所有参加分析的变量都是标准化的变量,这时b0就等于0, b1,b2,…,bn 就变成了标准化偏回归系数,用符号b1‘,b2’,…,bn‘表示。
bi’= bi*sxi/sy
由于bi’没有量纲,因此可以相互比较大小,反映自变量的相对作用大小。
(3) ei是残差
库文档分享
多元线性回归方程的一般形式是:
其中的符号含义同前。
库文档分享
三、理论假设
自变量x与应变量y之间存在线性关系;
正态性:随机误差(即残差)e服从均值为 0,方差为2的正态分布;
等方差:对于所有的自变量x,残差e的条件方差为2 ,且为常数;
独立性:在给定自变量x的条件下,残差e的条件期望值为0(本假设又称零均值假设);
无自相关性:各随机误差项e互不相关;
库文档分享
残差e与自变量x不相关:随机误差项e与相应的自变量x不相关;
无共线性:自变量x之间相互独立.
库文档分享
四、回归方程的建立
散点图
奇异点(ouliers)
最小二乘法(least square, LS)
残差平方和(sum of squares for residuals)
库文档分享
一元线性回归时,计算比较简单:
多元线性回归时,比较复杂,一般需要用计算机处理。
库文档分享
五、线性回归的检验
1、回归方程的检验
方差分析法:
应变量的总变异
可分解为
回归平方和(regression sum of squares):可用线性回归解释的部分
库文档分享
剩余平方和(residual sum of squares):即残差平方和,不能用线性回归解释的部分
以上三部分的自由度分别为n-1,m和n-m-1。其
中,n为样本数,m为自变量数。
方差分析的假设为
一元线性回归:H0: =0 H1: 0
多元线性回归:
H0: 1= 2=…= m=0
H1: 1, 2,…, m中至少有一个不等于零
因此方差分析的结论是线性回归方程是否显著,是否有意义。
库文档分享