第二章 线性回归分析.ppt

第二章线性回归分析
2
线性回归模型及基参数估计
统计推断与预测
残差分析
回归方程的选取
3
线性回归模型及基参数估计
线性回归模型及其矩阵表示
参数估计及其性质
4
线性回归模型及其矩阵表示
在医学上人的身高与体重、体温与脉搏次数、
年龄与血压、药物剂量与疗效等均有一定的联系。
说明客观事物或现象相互关系的密切程度并用适
当的统计指标表示出来,这是相关分析的任务。
把客观事物或现象间的关系用函数形式表示出
来,则是回归分析所要解决的问题。
回归分析是确定一个连续变量与另一些连续
变量间的关系,用于解释和预测。
5
变量Y与其他有关变量X1,X2,…,Xk的关系不
能确切的知道,变量Y的值由两部分所构成:
一部分由X1,X2,…,Xk确定,可以表示为X1,X2,
…, Xk的某个函数关系式: Y = f (X1,X2,…,Xk);
另一部分是众多未加考虑的因素所产生的影响,
被看作是随机误差,:
Y = f (X1,X2,…,Xk) + ε
6
回归过程:
Step1. 确定变量:Y 与那些 x1, x2,. . , xk 有关;
Step2. 选择形式:Y 与 x1, x2,. . , xk 以什么形式
相联系,即 f 的表示式;
Step3. 确定系数:利用Y 与 x1, x2,. . , xk 的观测数据,并在误差项的某些假设下确定关系式f (X1,X2,…,Xk)中的系数;
Step4. 合理性分析:利用统计推断方法对所确定的函数的合理性以及由此关系所揭示的Y 与 x1, x2,. . , xk 的关系作分析;
Step5. 应用于预测、控制等问题。
7
2. 回归分析的内容与目的
●建立变量Y与X1,X2,…,Xk的经验公式(回归方程,预测公式),即从一组样本数据出发,确定出变量之间近似的数学关系式;
●对经验公式的可信度进行检验;
●判断每个自变量Xi(i = 1,2,…,k)对Y的影响是否显著;
●对经验公式进行回归诊断(诊断经验公式是否适合这组数据);
●利用合适的经验公式,根据自变量的取值对因变量的取值进行预测。
8
线性回归模型(Line Regression model)
当f为线性函数时,回归模型:
Y = 0 + 1X1 + 2X2+…+ kXk+ ε
称为线性回归模型,其中0,1,…k是未
知的参数,称为回归参数(系数); Y是响应变
量(因变量) , X1,X2,…,Xk是回归变量(自变量),
是不可观测的随机变量,称为随机误差项,假
定E() =0。
9
如果有n次独立的观测数据(xi1,xi2,…,xik;yi)i = 1,2,…,n,则线性回归模型可以表示成如下形式:
其中1,2,…,n相互独立且E(i) =0
10
与2的估计
的最小二乘估计
最小二乘(OLS) 法的原理是求残差(误差项的估计值)平方和最小,即
其中对所有的i有xi0=1。利用无约束最优性条件:即
将S()对所有的i 求偏导并令其等于“0”.即