第二章线性回归分析.doc

第二章回归分析教学目标:回归分析是基于观测数据建立变量间的依赖关系,并可用于预报、控制等问题。不仅要熟练掌握线性回归模型和Logistic回归模型的建模理论与方法,而且要能够利用回归分析的SAS过程解决有关实际应用问题。为学生将来从事科研和应用打下坚实的基础。重难点:各种回归模型的建模理论与方法,参数估计、模型与参数的检验;利用回归分析的SAS过程解决有关实际应用问题。说明:本章约24学时。讲解时适当介绍前沿课题,并与自己的科研相结合,注重理论联系实际。第一节线性回归模型及参数估计(约2课时),非随机因素和随机误差对有影响,并且它们之间具有线性关系()其中是均值为零、方差为的误差项,它表示除了之外其它因素对的影响以及试验或测量误差,。该模型称为线性回归模型,且称为因变量,为自变量。一个最一般的线性回归模型为()只是只要令,就可将模型()化为线性回归模型。假定我们有了因变量和自变量的组独立的观测值,它们满足(1)式,即()其中误差项相互独立,且服从分布。若用矩阵形式,()变形为等价地(),为未知参数向量,()称为线性回归模型的矩阵形式。,该法是找的估计,使得偏差向量的长度之平方和达到最小,即其中。分别对的每一分量求偏导数,并令其为零,,,(4)根据微积分的极值理论,(1),去掉误差项,(1)中还有一个重要参数,它是模型误差项的方差,,,用最小二乘估计代替其中的,得到()称为残差向量,其中为对称幂等矩阵。称数()为残差平方和,它的大小反映了实际数据与理论模型()。 ,,于是我们有求的最小二乘估计及的估计。解正则方程为当不全相等时..,其中。(),最小二乘估计具有下列性质:(1)(2)(3)(1)因为,于是(2)因为,所以(3)因为,所以利用,可得,于是结论成立。性质2对于线性回归模型(),若进一步假设误差向量,则;;与相互独立。证明在定理的假设下,.注意到是的线形变换,我们可以证明。根据定义,,于是又因为,,即是幂等阵,根据定理,,它的秩等于它的迹,于是这就完成了的证明。因为,而,注意到,(),若进一步假设误差向量,则残差向量具有性质(1);(2)。证明(1)由于,故且(2)显然服从多元正态分布,再由(1)即得(2)。,还需要对回归方程进行统计检验。)离差平方和的分解。数据总的离差平方和,反映了数据波动性的大小。残差平方和,反映了除去与之间的线性关系以外的因素引起的数据的波动。SSE越大,观测值和线性拟合值间的偏差也越大。回归平方和,反映了线性拟合值与它们的平均值的总偏差,即由的变化所引起的的波动。可以证明()2)自由度的分解可以证明SST,SSE,SSR的自由度分别为,故对应予()式,自由度之间有如下关系::()构造统计量()可以证明当为真时,。当不真时,又偏大的趋势。如观测值,则接受;否则拒绝。在SAS及其他一些数据分析软件中,对显著性检验问题,其输出结果通常是检验的值。在上述线性回归关系的显著性检验问题,其检验的值为,对于给定的显著水平,任何检验准则均为。,可能其中的某个或某些对的影响不显著。希望从回归方程中剔除那些对的影响不显著得自变量,从而建立一个简单有效的回归