kl变换和主成分分析.ppt

KL变换和主成分分析
1．K-L展开式
aj：随机系数；
用有限项估计X时 ：
引起的均方误差：
代入X、 ，利用
由 两边 左乘 得 。
uj为确定性向量
R：自相关矩阵。
：拉格朗日乘数
说明：当用X的自相关矩阵R的特征值对应的特征向量展开X
时，截断误差最小。
选前d项估计X时引起的均方误差为
因此，当用X的正交展开式中前d项估计X时，展开式中
的uj应当是前d个较大的特征值对应的特征向量。
K-L变换方法：
对R的特征值由大到小进展排队：
均方误差最小的X的近似式：
矩阵形式：
式中， ， 。
其中：
〔5-49〕
—— K-L展开式
对式(5-49)两边左乘U t ：
—— K-L变换
系数向量a就是变换后的模式向量。
2．利用自相关矩阵的K-L变换进展特征提取
第一步：求样本集{X}的总体自相关矩阵R。
1〕变换在均方误差最小的意义下使新样本集{X *}逼近原样本集
{X}的分布，既压缩了维数又保存了类别鉴别信息。
利用K-L变换进展特征提取的优点：
2〕变换后的新模式向量各分量相对总体均值的方差等于原样本
集总体自相关矩阵的大特征值，说明变换突出了模式类之间
的差异性。
3〕C*为对角矩阵说明了变换后样本各分量互不相关，亦即消
除了原来特征之间的相关性，便于进一步进展特征的选择。
K-L变换的缺乏之处：
1〕对两类问题容易得到较满意的结果。类别愈多，效果愈差。
2〕需要通过足够多的样本估计样本集的协方差矩阵或其它类
型的散布矩阵。当样本数缺乏时，矩阵的估计会变得十分粗略，变换的优越性也就不能充分的地显示出来。
两个模式类的样本分别为
利用自相关矩阵R作K-L变换，把原样本集压缩成一维样本集。
解：第一步：计算总体自相关矩阵R。
第二步：计算R的本征值，并选择较大者。由 得