回归分析与聚类分析.ppt

回归分析与聚类分析
1
一元线性回归
(1) 确定性关系—对应关系、函数关系。其变量称确定性变量。
(2) 相关关系—对应的变量称随机变量。没有一一对应的函数关系，但有统计规律—散点图、回归方程。
一元回归分析——研究单因素与试验指标间相关关系；
多元回归分析——研究多因素与试验指标间相关关系；
线性回归、非线性回归——相关关系为线性或非线性。
概述
科研与生产中，变量之间的关系有两种情况
2
设有一组试验数据xi，yi (i = 1， 2，…，n)，其中x是自变量，y 是因变量。若x，y 符合线性关系，或已知经验公式为直线形式，即：
一元线性回归
回归方法
a, b 称为回归系数；
是由xi代入回归方程的计算值，称为回归值。
3
与yi 之间的偏差称为残差，用ei 表示，则有：
残差平方值（考虑到残差有正有负）之和为：
显然，只有残差平方和最小时，回归方程与试验值的拟合程度最好。
残差平方和SSe为a， b的函数，即： SSe=f (a, b), 为使SSe值到达极小，根据极值原理，只要对上式分别对a，b求偏导数，并令其等于零，求解方程组即可求得a，b之值————最小二乘法原理。
4
要使误差最小，则
对方程组求解，即可得到回归系数a, b的计算式：
正规方程组
5
为了方便计算，令：
于是：
6
（1） 相关系数检验法
先求出回归方程的相关系数，然后与临界值进行对比：
计算值>临界值——两变量不是独立，相关关系成立；
计算值<临界值——两变量独立，相关关系不成立。
一元线性回归效果的检验
相关系数检验法 、F检验即方差分析法
—— 检验回归方程的可靠性或可信性
7
相关系数用下式求出
回归系数b 与相关系数r 的关系为：
b 与r 有相同的符号
决定系数——相关系数的平方r2
P101, 例8-4
8
有一定的线性关系
有一定的线性关系
无线性关系
无线性关系
相关系数的特点： 0≤| r |≤1
完全线性相关
完全线性相关
9
(2) F 检验—方差分析 法
(1) 计算离差平方和
回归平方和—回归值 与算术平均值 的偏差
总离差平方和—试验值yi与其算术平均值 的偏差
残差平方和—试验值yi与回归值 的偏差
三种平方和之间有下述关系： SST＝SSR＋SSe
SSR还可以用更简单的公式计算:
10