线性回归分析.pptx

一. 前言
回归分析的目的:
设法找出变量间的依存(数量)关系, 用函数关系式表达出来
二、基本概念
1、应变量(dependent variable)
2、自变量(independent variable)
3、一元线性回归
直线回归方程的模型是:yi=a+bxi+ei
其中
(1)a是截距
(2)b是回归系数(regression coefficient)(回归直线的斜率)
回归系数的统计学意义是:自变量每变化一个单位,应变量平均变化的单位数.
(3)ei是残差
因此直线回归方程的一般形式是:
其中是应变量y的预测值或称估计值。
4、多元线性回归
多元线性回归方程模型为:
yi=b0+b1x1i+b2x2i+…+bnxni+ei
其中
b0是常数项,是各自变量都等于0时,应变量的估计值。有时,人们称它为本底值。
b1,b2,…,bn是偏回归系数( pertial regression coefficient ),其统计学意义是在其它所有自变量不变的情况下,某一自变量每变化一个单位,应变量平均变化的单位数。
如果所有参加分析的变量都是标准化的变量,这时b0就等于0, b1,b2,…,bn 就变成了标准化偏回归系数,用符号b1‘,b2’,…,bn‘表示。
bi’= bi*sxi/sy
由于bi’没有量纲,因此可以相互比较大小,反映自变量的相对作用大小。
(3) ei是残差
多元线性回归方程的一般形式是:
其中的符号含义同前。
三、理论假设
自变量x与应变量y之间存在线性关系;
正态性:随机误差(即残差)e服从均值为 0,方差为2的正态分布;
等方差:对于所有的自变量x,残差e的条件方差为2 ,且为常数;
独立性:在给定自变量x的条件下,残差e的条件期望值为0(本假设又称零均值假设);
无自相关性:各随机误差项e互不相关;
残差e与自变量x不相关:随机误差项e与相应的自变量x不相关;
无共线性:自变量x之间相互独立.
四、回归方程的建立
散点图
奇异点(ouliers)
最小二乘法(least square, LS)
残差平方和(sum of squares for residuals)
一元线性回归时,计算比较简单:
多元线性回归时,比较复杂,一般需要用计算机处理。
五、线性回归的检验
1、回归方程的检验
方差分析法:
应变量的总变异
可分解为
回归平方和(regression sum of squares):可用线性回归解释的部分