线性代数之 回归分析.ppt

第十章回归分析第一节回归分析的概述第二节参数估计第三节假设检验第四节预测与控制第五节非线性回归的线性化处理第一节回归分析的概述一个过程中多个变量之间的关系分为两类: 确定性关系,也就是通常所说的函数关系; 非确定性关系,即所谓的相关关系。确定性关系是指当一些变量的值确定以后另一些变量的值也随之完全确定的关系。相关关系是指变量之间有一定的依赖关系,但当一些变量的值确定以后,另一些变量的值虽随之变化却并不能完全确定,这时变量间的关系不能精确地用函数来表示。上一页下一页返回(1) 给出建立具有相关关系的变量之间的数学关系式(通常称为经验公式)的一般方法; (2) 判别所建立的经验公式是否有效;判别哪些预报变量对响应变量的影响是显著的,哪些是不显著的; (3) 利用所得到的经验公式进行预测和控制。回归分析( regression analysis )是数理统计中研究一个响应变量与若干个预报变量之间相关关系的一种有效方法;其中只有一个预报变量的回归分析称为一元回归分析, 多于一个预报变量的回归分析称为多元回归分析。回归分析的任务主要有三个: 上一页下一页返回一元回归分析与最小二乘法取定 x时随机变量 y的数学期望 E(y|x) 作为 x时随机变量 y的估计值,即)(xyEy??显然,当 x变化时 E(Y|X=x) 是x的函数,记作)()(xyEx??可以用一个确定的函数关系式)(xy???大致地描述 y与x之间的相关关系。函数称为 y关于 x的回归函数,简称回归; 称为 y关于 x的回归方程。)(x?)(xy???上一页下一页返回回归方程反映了 y的数学期望 E(y) 随x的变化而变化的规律性。 y与x的相关关系表示为????)(xy是随机误差,它是均值为零的随机变量, 通常假定是不依赖于 X的未知参数。? 22 ),,0(~???N的大小在一定程度上反映了在 x处随机变量 y 的观测值的大小,如能找到 , 就能在一定条件下解决如下两个问题: ,估计当 x取某一定值时 y的取值情况,这就是所谓的预测问题;,控制 X的取值范围以使 y 在给定的范围内取值,这就是所谓的控制问题。)(x?)(x?上一页下一页返回通常先限制为某一类型的函数。函数的类型可以由与被研究问题的本质有关的物理假设来确定; 若没有任何理由可以确定函数的类型,则只能根据在试验结果中得到的散点图来确定。)(x?)(x?)(x?在确定了函数的类型后,就可以设)(x?),,,;()( 21kaaaxx????其中 a 1, a 2…… a k为未知参数。寻找合适的回归函数的问题就归结为:如何根据试验数据合理地选择参数 a 1, a 2…… a k的估计值)(x? kaaa ????,,, 21上一页下一页返回这些估计值使得方程在一定的),,,;( 21kaaaxy????意义下“最佳地”表现变量 Y与X之间的相关关系。选取中参数,使得观测值 y i与相应的函数值 ( i=1,2 …… n)的偏差平方和为最小,这就是所谓的最小二乘法。),,,;( 21kaaax??),,,;( 21k iaaax??最小二乘法的概率意义:设当可控变量 X取任意实数 x 时,随机变量 Y服从正态分布,即 Y的概率密度为) ),(( 2??xN 22 )]([2 12 1)( xyeyf ???????其中,而是不依赖于 x的常数。??),,,;( 21kaaaxx???? 2?上一页下一页返回在n次独立试验中得到观测值( x1,y1 ),( x2,y2 ),…( xn,yn ),利用极大似然估计法估计未知参数 a1, a2 ,… ak, 时,有似然函数???????????????? ni iixy n ni ikeyfaaaL 1 2 2)(2 1 1 212 1)(),,( ?????似然函数 L取得极大值,上式指数中的平方和???? ni k iiaaaxyS 1 221 )],,;([??取最小值。即为了使观测值( x i , y i)( i=1,2, …,n)出现的可能性最大, 应当选择参数 a 1,a 2,…,a k,使得观测值 y i与相应的函数值的偏差平方和最小。这就是最小二乘法的概率意义。),,,;( 21k iaaax??上一页下一页返回解方程组求出参数 a1,a2, …… ak 的估计值(这样求出的参数 a1,a2, …… ak 的估计,称为最小二乘估计( least squares estimation , 简称 LSE )) ,再求回归方程的估计式(称为经验回归方程)。分别求 S对 a1,a2, …… ak 的偏导数,并令它们等于零,就得到????????