多元线性回归与Logistic回归幻灯片.ppt

多元线性回归
多元线性回归
多元线性回归是简单线性回归的直接推广,其包含一个因变量和二个或二个以上的自变量。
简单线性回归是研究一个因变量(Y)和一个自变量(X)之间数量上相互依存的线性关系。而多元线性回归是研究一个因变量(Y)和多个自变量(Xi)之间数量上相互依存的线性关系。
简单线性回归的大部分内容可用于多元回归,因其基本概念是一样的。
内容安排
多元线性回归模型与参数估计
回归方程和偏回归系数的假设检验
标准化偏回归系数和确定系数
多元回归分析中的若干问题
回归分析中自变量的选择
多元线性回归分析的作用
多元线性回归模型与参数估计
设有自变量x1,x2,…,xp和因变量Y以及一份由n个个体构成的随机样本(x1i,x2i,…,xpi,,,Yi),且有如下关系:
y =B0+B1x1+B2x2+…+Bp xp+(模型)
B0、B1、B2和Bp为待估参数,为残差。
由一组样本数据,可求出等估参数的估计值b0、b1、b2和bp,,得到如下回归方程:
ŷi =b0+b1x1+b2x2+…+bp xp
由此可见,建立回归方程的过程就是对回归模型中的参数(常数项和偏回归系数)进行估计的过程。
参数的最小二乘估计
与简单回归类似,我们寻求参数B0、B1、B2和Bp的适宜估计数值b0、b1、b2和bp,,使实际观察值和回归方程估计值之间残差平方和最小,
即 Q=(yi -ŷi) 2
= (yi - b0-b1x1i-b2x2i-…-bp xp i) 2
对b0、b1…、bp分别求偏导数,今偏导数为零可获得P+1个正规方程,求解正规方程可得待估参数值。
偏回归系数的假设检验
回归方程的假设检验若拒绝H0,则可分别对每一个偏回归系数bj作统计检验,实质是考察在固定其它变量后,该变量对应变量 Y 的影响有无显著性。
H0: Bj=0
H1: Bj不为零=
F = (Xj 的偏回归平方和/1) / MS误差
Xj 的偏回归平方和:去Xj后回归平方和的减少量
若H0成立,可把Xj从回归方程中剔除,余下变量重新构建新的方程。
标准化偏回归系数和确定系数
标准化偏回归系数:
在比较各自变量对应变量相对贡献大小时,由于各自变量的单位不同,不能直接用偏回归系数的大小作比较,须用标准化偏回归系数。
bj ´ = bj (sj / sy)
确定系数:
简记为R2,即回归平方和SS回归与总离均差平方和SS总的比例。
R2 = SS回归/ SS总
可用来定量评价在Y的总变异中,由P个X变量建立的线性回归方程所能解释的比例。
回归分析中的若干问题
资料要求:总体服从多元正态分布。但实际工作中分类变量也做分析。
n足够大,至少应是自变量个数的5倍
分类变量在回归分析中的处理方法
有序分类:
治疗效果:x=0(无效) x=1(有效) x=2(控制)
无序分类:
有k类,则用k-1变量(伪变量)