PCA算法推倒.ppt

PCA
李洋
2016年4月11日
主成分分析
如何汇报
假定你是一个公司的财务经理,掌握了公司的所有数据,比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。
如果让你介绍公司状况,你能够把这些指标和数字都原封不动地摆出去吗?
当然不能。
你必须要把各个方面作出高度概括,用一两个指标简单明了地把情况说清楚。
2018/7/3
在许多实际问题中,多个变量之间是具有一定的相关关系的。因此,能否在各个变量之间相关关系研究的基础上,用较少的新变量代替原来较多的变量,而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息?事实上,这种想法是可以实现的.
主成分分析原理: 是把原来多个变量化为少数几个综合指标的一种统计分析方法,从数学角度来看,这是一种降维处理技术。
2018/7/3
PCA:ponent Analysis,即主成份分析
PCA是一种具有严格数学基础并且已被广泛采用的降维方法。下面我不会直接描述PCA,而是通过逐步分析问题,让我们一起重新推倒PCA算法。
2018/7/3
内积运算将两个向量映射为一个实数。其计算方式非常容易理解,但是其意义并不明显。下面我们分析内积的几何意义。
推导>>1
内积与投影:
两个维数相同的向量的内积被定义为
2018/7/3
假设A和B是两个n维向量,我们知道n维向量可以等价表示为n维空间中的一条从原点发射的有向线段,为了简单起见我们假设A和B均为二维向量, ,在二维平面上A和B可以用两条发自原点的有向线段表示,见下图:
2018/7/3
现在我们从A点向B所在直线引一条垂线。我们知道垂线与B的交点叫做A在B上的投影,再设A与B的夹角是a,则投影的矢量长度为其中是向量A的模也就是A线段的标量长度
2018/7/3
到这里还是看不出内积和这东西有什么关系,不过如果我们将内积表示为另一种我们熟悉的形式:
A与B的内积等于A到B的投影长度乘以B的模。再进一步,如果我们假设B的模为1,即让那么就变成了
也就是说,设向量B的模为1,则A与B的内积值等于A向B所在直线投影的矢量长度!这就是内积的一种几何解释。
2018/7/3
基:
一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。例如下面这个向量:
上面的向量可以表示为(3,2)
推导>>2
2018/7/3
向量(x,y)实际上表示线性组合
此处(1,0)和(0,1)叫做二维空间中的一组基
要准确描述向量,首先要确定一组基,然后给出在基所在的各个直线上的投影值,就可以了。
我们之所以默认选择(1,0)和(0,1)为基,当然是比较方便,因为它们分别是x和y轴正方向上的单位向量。
2018/7/3