PCA原理及应用(共7页).doc

精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
PCA原理与应用
PCA是Princip计算：
CY=1n-1PAPT=1n-1PPTDPPT=1n-1PPTDPPT=1n-1D
可知此时的P就是我们需要求得变换基。X的主元即是XXT的特征向量，也就是P的行向量。矩阵CY对角线上的第i个元素是数据X在方向Pi的方差。
最小化损失
 假设输入数据x是在D维空间中的点，那么，我们可以用D个正交的D维向量去完全的表示这个空间（这个空间中所有的向量都可以用这D个向量的线性组合得到）。在D维空间中，有无穷多种可能找这D个正交的D维向量。
假设找到了这D个向量，(ui为列向量) 可以得到：
xn=i=1Dαniui
用近似法来表示投影后的点：
xn=i=1Mzniui+i=M+1Dbiui
上式表示，得到的新的x是由前M 个基的线性组合加上后D - M个基的线性组合，注意这里的z是对于每个x都不同的，而b对于每个x是相同的，这样我们就可以用M个数来表示空间中的一个点，也就是使得数据降维了。但是这样降维后的数据，必然会产生一些扭曲，我们用J描述这种扭曲，我们的目标是，使得J最小：
J=1Nn=1N||xi-xn||2
其含义是对于每一个点，将降维后的点与原始的点之间的距离的平方和加起来，求平均值，我们就要使得这个平均值最小。令：
∂J∂zni=0=>zni=xnTui
精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
∂J∂bi=0=>bj=xTui
将上面得到的z与b带入降维的表达式：
xn-xn=i=M+1D{(xn-x)ui}ui
将上式带入J的表达式得到:
J=i=M+1DuiTSui
再用上拉普拉斯乘子法，可以得到，取得我们想要的投影基的表达式为：
Sui=λiui
这里又是一个特征值的表达式，我们想要的前M个向量其实就是这里最大的M个特征值所对应的特征向量。J可以化简为：
J=i=M+1Dλi
也就是说当误差J是由最小的D - M个特征值组成的时候，J取得最小值。
、、，如果X矩阵的列向量代表m维空间的数据，共有n组，对X的协方差矩阵求解特征方程，特征向量按特征值的由大到小排列构成P矩阵的行向量，令Y=PX，这个过程称作PCA主成分分析，同时我们很容易得到如下结论：
（1） P矩阵的行向量代表X的主元，若用P矩阵前k列作为描述X的基，其误差J是由最小的D - M个特征值组成。
（2） P矩阵的行向量pi所对应的特征值描述yi（Y的第i行）的方差，特征值越大，对应的方差越大，数据越离散，即X中的数据在pi轴的投影越分散。
（3） ，cov(yi,yj)=0 ;i≠jλi; i=j，这样在以P为基的空间，Y的冗余最小。
因此，PCA的流程如下：
（1） 采集数据形成m*n的矩阵。m为观测数据的维数，n为观测样本的个数。
（2） 在每个观测变量（矩阵行向量）