一元线性回归.doc

一元线性回归
一、一元线性回归模型的数学形式
对两边求数学期望和方差得:,随机变量y的期望不等,方差相等,因而是独立随机变量,但并不同分布,而是独立同分布的随机变量。
估计参数在实际应用中表示自变量x每增加一个单位时因变量y平均增加数量。
一元回归的一般形式用矩阵表示:
,,,,模型表示有:
其中为n阶单位矩阵。
二、参数估计
需注意,极大似然估计是在的正态分布假设下求得的,而最小二乘估计则对分布假设没有要求,另外,是独立的正态分布样本,但并不是同分布的,期望值不相等。
三、最小二乘估计的性质
1、线性性:估计量为随机变量的线性函数
2、无偏性:是无偏估计
3、的方差
,
从上面两个式子可以看出,要想使的估计值更稳定,在收集数据时,就应该考虑x的取值尽可能分散一些,不要挤在一块,样本量应尽可能大一些,样本量n太小时估计量的稳定性肯定不会太好。
从;;其中可以得到:
,在=0时,的协方差为0,此时不相关,在正态假定下独立;在0时不独立。它揭示了回归系数之间的关系。
四、回归方程的显著性检验
回归方程中主要关心的是回归系数的显著性,这决定y对x的回归是否成立,而对回归常数项的显著性并不关心。
检验统计量与p值的关系是:=p值;
例如:检验统计量t与p值的关系是:=p值,其中t为检验统计量,是随机变量,t值是t统计量的样本值。可以看出p值越小,|t值|越大,p值越大,|t值|越小。当p值时,|t值|,此时应拒绝原假设。反之则接受原假设。因此可以用p值代替t值作判断。
用p值代替t值作判定有几方面的优越性:
第一,用p值作检验不需要查表,只需直接用p值与显著性水平相比,当p值时即拒绝原假设,当p值>时即接受原假设,而用t值做检验需要查t分布表求临界值。
第二,用p值作检验具有可比性,而用t值作检验与自由度有关,可比性差。
第三,用p值作检验可以准确地知道检验的显著性,实际上p值就是犯弃真错误的真实概率,也就是检验的真实显著性。
五、相关系数
在一元线性回归的回归系数的符号与相关系数r的符号相同。对于对称分布的统计量,单侧检验的p值的2倍就是双侧检验的p值。
用样本相关系数r判断两变量间相关程度的强弱时一定要注意样本量的大小,只有当样本量较大时用样本相关系数r判断两变量间相关程度的强弱才可信服。
需要正确区分相关系数显著性检验与相关程度强弱的关系,相关系数的t检验显著只是表示总体相关系数显著不为零,并不能表示相关程度高。例,如果有A,B两位同学,A同学计算出r=,但显著性检验没有通过;B同学计算出r=,而声称此相关系数高度显著,能肯定这两位同学都出错了吗?这个问题和样本量有关。
观察检验统计量,可以看到t值不仅与样本相关系数r有关,同时与样本量n有关,对同样的相关系数r,样本量n大时|t|就大,样本量n小时|t|就小。实际上,对任意固定的非0的r值,只要样本量n充分大就能使|t|足够大,从而得到相关系数高度显著的结论。明白这个道理后你就会相信A,B两位同学说的都可能是正确的。在样本量充分大时,可以把样本相关系数r作为总体相关系数,不必关系显著性检验的结果,只需要结合数据的实际背景判断r值表示的相关性的强弱。
六、三种检验的关系
对一元线性回归,F检验,t检验,相关系数的显著性检验结果