多元线性回归分析模型.docx

课题
第四章概率统计模型多元线性回归分析决策模型
教学内容
多元线性回归分析
随机决策模型的基本原理与解法，及应用举例。
教学目标
掌握多元线性回归分析的基本原理和建模的基本过程。
能够运用多元回归分析模型解决实际问题并进行模回归函数；若回归函数f (X , ,…1, x 2)是非线性函数，则称其为非线性回 归函数。对非线性回归，经常采用线性化的方法来处理。所以，目前研究最多的是线 性回归问题，且假定X , X，…，X和y均服从正态分布。回归分析的任务就是要求 出满足式(4-2)的回归函数f (x", ... , x )，从而对所研究的相关关系做出所需的 预测和控制。 1 2 m
多元回归模型的应用是相当广泛的，例如，某种商品的销售量可能受收入水平、 风俗习惯、产品质量、价格、宣传广告等多种因素的影响；某种产品的质量可能受生 产该产品时的温度、湿度、压力、原材料的质量和有害成分的含量等影响；工人的劳 动生产率可能受学历、智力水平、情绪的稳定性和才能等因素的影响；某城市的用水 量可能与该城市的人口数及工业总产值有关。诸如此类的关系，可以通过多元回归分 析模型进行研究。
例如，在水泥凝固时放出热量问题中，可建立线性回归模型
Y=b +bx +b x +bx +b x +s
0 1 1 2 2 3 3 4 4
其中 E (s ) = 0, D (s ) = b 2。
而b ,b ,b ,b ,b和b 2是未知参数，为了估计这些参数，将表4-1的值代入模 0 12 3 4
型(4-3)，得线性模型
(4-4)
[ y = b + b x + b x + b x + b x + s J i 0 1 i1 2 i 2 3 i 3 4 i 4 i
I E(s ) = 0, Cov (s ,s ) = 8 b 2, (i, j = 1, — ,13)
I i i j ij
一般地，多元线性回归模型可表示为：
Y = b + b x + b x + b x + b x + s (4-5)
0 1 1 2 2 3 3 4 4
其中，x , x , x是自变量，b为常数，b ,b ,... , b为回归系数， 1 2 m 0 1 2 m
b , b , b , - , b皆为未知，统称b , b , b ,…，b为回归参数，一旦回归参数确定，则 0 1 2 m 0 1 2 m
多元线性回归模型就完全确定，一般假定随机误差s〜N (0, b 2)。
为了得到回归参数的估计值，就要对变量进行观测，假设对变量的n(n > m)次 独立观测数据为：｛( y , x , x，…，x ), i = 1, - , n｝，则这些观测数据应满足式(4 -
i i1 i2 im
5)，即有
y = b + b x + b x + b x + b x + s
1 0 1 11 2 12 3 13 4 14 1
y = b + b x + b x + b x + b x + s
2 0 1 21 2 22 3 23 4 24 2
(4-6)
y = b + b x + b x + b x + b x + s n 0 1 n 1 2 n 2 3 n 3 4 n 4 n
其中 E (s ) = 0, Cov (s , s ) = 8 b 2, (i, j = 1, ..., n)，
若记Y =
r 1
i j
(y ], y一，•••，y
X
11
X
21
ij
)t , P = (b 0, b1，••• ,b )t , s
2
X
12
X
22
X n1
则多元线性回归的数学模型式
Xnm J nx(m +1)
(4-6)可以写成矩阵形式
Y = X p + £ (4 — 7)
其中 E(£ ) = 0, Var (£ ) = Q 21。
参数的最小二乘估计
为了获得参p的估计，我们采用最小二乘法，即选择p，使
Q (P )=五 £ 2 =£ T£ = (Y — Xp )T (Y — Xp ) (4 — 8)
i
i = 1
达到最小。
将Q (p)对p求导数并令其为零，得
边=-2XT(Y — Xp ) = 0 ap
即 XT X p = X TY。记 L = XT X，贝0
Lp = X ty (4 — 9)
方程(4 — 9 )称为正规方程，其中X为n x (m + 1)阶矩阵，一般假定 rank (X ) = m + 1，由线性代数理论可知，L = X 丁 X为满秩矩阵，它的秩 rank (L) = m + 1，则正规方程(4 — 9)有唯一解，记作
6 = L-1X ty (4—10)
我们来证明(4—10 )式中任为参数向量