2022年PCA算法总结.docx

摘要：
PCA（Principal Component Analysis〕, 称主成分分析,从统计学的角度来说是一种多元
统计方法； PCA 通过将多个变量通过线性变换以选出较少的重要变量； 它往往可以有效地从过于 “丰富 ”的数据信息形,协方差矩阵 S 应当有 M 个特点特点值： , 其对应的特点向量应为： u 1, ⋯u,n；
误差最小化
PCA 的另一种构造形式是基于误差最小化；我们引入 D 维完备正交基向量组,即
（ 6）
所以我们可以用完备正交基向量来线形表示样本数据集中的每一个数据 xn,
（ 7）
充分利用依据等式 （ 6）的正交属性, 利用等式（ 7）可得系数 ,反代回等式 （7）, 可得等式：
（8 ）
我们来看,表达等式（ 8）需要 D 维信息,而我们的目的是期望用 M<D 维信息近似地表达出 xn ：
（ 9 ）
代表的是数据点的特殊重量,而 b i 代表的是全部数据点的所共有的重量；我们构造一个目标函数 :
.
WORD文档沟通！
3
（ 10）
其通俗的含义是我们期望通过 M 维表达的出的数据点靠近 D 维样本数据点 , 这里我们采纳欧式距离衡量两个数据点的相像性；那么我们的问题又转化为最小化目标函数 J；通过求导, 我们可以得出：
（ 11）
（ 12） 反代回等式（ 10）,得：
（ 13 ）
因此我们只要找寻协方差矩阵 S 的 D-M 个最小特点值就可；
SVD 奇特值分解
PCA 方法中对于协方差矩阵的分解,提取主成分,采纳两种方法：
特点值分解；该种方法有肯定局限性,分解的矩阵必需为方阵；
SVD 奇特值分解；
奇特值分解是线性代数中的一种重要的矩阵分解方法, 在信号处理、 统计学等领域都有重要的应用；奇特值分解可以将一个比较复杂的矩阵分解为几个更小更简洁的子矩阵相乘的形式
来表达,而这些子矩阵描述的是原矩阵的重要的特性；
对于一个 M× N 大小的矩阵 A 来说,总是可以分解为 :
（ 14 ）
其中 U 和 V 分别是 AAT 和 AT A 的特点向量,而 就是他们的特点根； 在 PCA 方法中, 我们选取 P 个最大特点根及其所对应的特点向量,对 A 进行靠近：
（ 15）
线性代数理论证明： A 与 A’在最小二乘法的意义下是靠近的；而当 P 越接近 N,就靠近的结果越接近于原矩阵；所以当我们选取的 P 远小于 N 时,所需要储备的信息量就会越小,达到了降维和压缩的目的；
.
WORD文档沟通！
4
一、简介
PCA（ Principal Components Analysis ）即主成分分析,是图像处理中常常用到的降维 方法, 大家知道, 我们在处理有关数字图像处理方面的问题时, 比如常常用的图像的查询问题,在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像； 这时, 我们通常的方法是对图像库中的图片提取响应的特点,如颜色,纹理, sift ,surf , vlad 等等特点,然后将其储存, 建立响应的数据索引, 然后对要查询的图像提取相应的特点, 与数据库中的图像特点对比, 找出与之最近的图片；这里, 假如我们为了提高查询的精确率, 通常会提取一些较为复杂的特点,如 sift , surf 等,一幅图像有许多个这种特点点,每个特点点又有一个相
应的描述该特点点的 128 维的向量,设想假如一幅图像有 300 个这种特点点,那么该幅图像就有 300*vector （ 128 维）个, 假如我们数据库中有一百万张图片, 这个储备量是相当大的,建立索引也很耗时,假如我们对每个向量进行 PCA 处理,将其降维为 64 维,是不是很节省储备空间啊？对于学习图像处理的人来说,都知道 PCA 是降维的,但是,许多人不知道具体的原理,为此,我写这篇文章,来具体阐述一下 PCA 及其具体运算过程：
二、 PCA 详解
、原始数据：
为了便利,我们假定数据是二维的,借助网络上的一组数据,如下：
x=[, , , , , , 2, 1, , ] T
T
y=[, , , , , , , , , ]
、运算协方差矩阵
什么是协方差矩阵？信任看这篇文章的人都学过数理统计,一些基本的常识都知道,但是,
或许你很长时间不看了, 都忘差不多了, 为了便利大家更好的懂得, 这里先简洁的回忆一下数理统计的相关学