主成分分析及算法.pdf

2 2 2
Ξ
1
称为 x 的自相关矩阵 ( d × d 矩阵) ,亦称 x 的协方差矩阵 (covariance matrix) ,ψ( u) 是反映投影
值 (可以认为是 x 在某个方向上的变化量) 的方差探针 ,即投影值的方差.
收稿日期 :2004 - 08 - 10
基金项目 :江苏省教育厅自然科学基金资助项目 (02 KJD52001)
作者简介 :李玉珍 (1961 - ) ,女 ,江苏泰州人 ,在读硕士研究生 ,
1
1
1
第 1 期 　　　　　　　　　　　　　　　　　　　李玉珍 ,王宜怀 :主成分分析及算法 33
d (ψ( u) )
为了使这个方差探针达到稳定值 ,利用极值理论 ,考虑 = 0 ,可利用变分ψ( u +δu) = ψ( u) 推
d u
出 :
　　(δu) T Ru = 0 (1 1)
再由 ‖u ‖2 = 1 , ‖u +δu ‖ = 1 ,推出 (δu) T u = 0 ,因此 u 使ψ( u) = u T Ru 取得极值的充要条件是存在
数λ,使得 Ru = λu ,即 u 为 R 的特征向量.
由 R 的定义 ,我们得知 R 是对称、半正定的 ,所以其特征值必定非负.
假定 R 的特征值互不相同 ,则对应的特征向量所决定的特征直线一定是唯一的. 设 R 有 d 个互不相同
的特征值 :λ1 ,λ2 , ⋯,λd ,且满足 :λ1 > λ2 > ⋯ > λd ,对应的特征