《线性回归》.ppt

线性回归
编辑ppt
线性回归的基本概念
线性回归分析是描述一个因变量Y （响应变量或应变量，dependent variable）与一个或多个自变量X （independent variable ) 线性依从关系。根据
编辑ppt
第二节 多元线性回归
1. 多元线性回归的概念
根据多个自变量的最优组合建立回归方程来预测因变量的回归分析称为多元回归分析。
多元回归分析的模型为：
或总体多元回归分析的模型为：


（读epsilon ）：残差
编辑ppt
式中： 是根据所有自变量 x 算出的 y 的
估计值。
b0：为常数项
b1 、b2 、b3 … bn ：y 对应于x1 、x2 、x3 … xn
的偏回归系数。
编辑ppt
：它是 y 的变化中不能为自变量所解释的部分，服从 。
偏回归系数：表示在其它自变量固定不变的情况下，自变量 xi 每改变一个单位，单独引起因变量 y 的平均改变量。
编辑ppt
2. 多元线性回归对数据的要求和应用
（1）对数据要求
Y 为正态分布的连续的随机变量
X 为数值型变量
（2）应用
一组容易测量的自变量对因变量进行预测。
找出对因变量 y 的影响因素，并比较这些因素的作用大小。
编辑ppt
3. 多元回归分析中的参数
（1）复相关系数R
（multiple correlation coefficient）：
表示回归模型中所有的自变量 x 与因变量 y 线性相关的密切程度的指标。实际上是yi 与其估计值 的简单线性相关系数，即pearson相关系数
R 的取值范围：0 ~ 1 即 0 =< R <=1
其值越接近1 ，表示其线性关系越强，
越接近0 ，表示其线性关系越差。
编辑ppt
（2）R2 (R Square)：判定系数或确定系数 调整判定系数 (Adjusted R Square)
判定系数R2：在 y 的总变异中，由 x 变量组建立的线性回归方程所能解释的比例。即
R2 = SS回归 / SS总
编辑ppt
调整判定系数：判定系数的大小是随着进入回归方程的自变量个数的增加而增大，为了消除自变量个数对判定系数的影响，所以对判定系数进行了修正。 Adjusted R Square  = SS回归(n-k-1) / SS总(n-1) 式中 n为样本例数，k为模型中自变量的个数。当模型中增加的自变量没有统计学意义时，调整判定系数会减少。调整判定系数越大，模型拟合越好。
编辑ppt
(3) 零阶相关系数、部分相关与偏相关系数
零阶相关系数 (Zero-Order)：自变量与因变量之间的简单相关系数。
部分相关(Part Correlation)：当一个自变量xi进入回归方程模型后，复相关系数的平方R2 （判定系数）的增加量。即 R2 xi 进入后 - R2 xi 进入前
偏相关系数(Partial Correlation)：在排除了其它自变量对y的影响后，自变量xi与因变量y 之间的相关性。
编辑ppt
4. 多元线性回归分析的检验
(1) 方差分析：对整个回归方程的显著性检验
检验假设：总体回归系数均为0

备择假设：总体回归系数不全为0或全不为0


F=MS回归 / MS残差
若 p < ，变量组 x 对 y 的影响具有统计学意义。
编辑ppt
（2）偏回归系数与常数项的检验
t = bi /SEbi 即：

t =偏回归系数 / 偏回归系数的标准误
常数项的检验同理。
编辑ppt
（3）对回归方程的方差分析 与偏回归系数检验的关系
在多元分析中，方差分析是对整个回归方程的显著性检验，它与单独对每一个偏回归系数的显著性检验不一定等效，就是说，方差分析得出的回归方程有统计学意义，不一定该方程中每一个偏回归系数均有统计学意义，但至少有一个偏回归系数有显著性。
编辑ppt
（4）对自变量的检验----偏回归平方和
其中： SS回归 为回