基于残差自然幂法的增量线性判别分析方法.pdf

基于残差自然幂法的增量线性判别分析方法.pdf324 东北大学学报匀豢蒲О琋
20114 Journal Northeastem 0 1 l
基于残差自然幂法的增量线性判别分析方法
陈东岳,吴成东
(110819)
摘要:提出了将增量线性判别分析问题;
u)A
P(AP(AP(A
u)Au)Au)A
方法在收敛速度、计算复杂度和可操作性上具有更优的性能.
关键词:线性判别分析恢髟7治;自然幂法;无损更新;增量算法
中图分类号: A文章编号:——一
Incremental Based a
Natural Power
狽孵常琖孵如孵
ylleE-******@iseneuedu)(sch00l Inhmation 西舐, U-1diIg
莟: A new algorithm a Structurentainingtwo incremental pOnent
Solve the incremental analySis(U)A)
瓵篴 naturaJ and equations
a withinclaSsscattertrixand 緄 rnatrix are pmpoSed for
nvergence the 縅. reSultS the
convergenceand 00mplex and operation
other ∈ⅰ縠.
1eywords ponent analysiSnaturalpower ;
updateincre1entalalgorithm
(1ineardiScdminate PCA
,虽然具有较好的分类效果,但由于类:无需计算协方差矩阵的方法,主要有鼢~算
涉及到矩阵求逆、矩阵乘法及特征值分解等复杂 IPC5j
的矩阵运算,, 处理超高维数据,但收敛精度和速度比较差;基于
ChatteljeeU)APCA
L)APCA6|
个增量、侍猓醪绞迪至藆噐的增量计算. 法收敛速度快、稳定性较好,但计算量较大,且需
年,谝延械脑隽縇【算法框要人为设定学习步长.
架下,将最速下降法应用于第一阶段的矩阵分解, U)A
进一步提高了算法的收敛速度【. L)A
在现有的增量惴ㄖ校隽縋模块 PCA
u)AP(A
收稿日期:——
基金项目:国家自然科学基金资助项目;辽宁省自然科学基金资助项目;中央高校基本科研业务费专项资
金资助项目.
作者简介:陈东岳,男,辽宁沈阳人,东北大学副教授,博士;吴成东,男,辽宁大连人,东北大学教授,博士生导师.
4 陈东岳等:基于残差自然幂法的增量线性判别分析方法 473
类内离散度矩阵及协方差矩阵的无损实时更新公因此,矩阵的求解问题就转化为求矩阵
U)ADoU)A
sS7
隽縇算法
PCA
乃玃算法 SS7
设一个由鰀维实数向量组成的样本集 PCA
卜钟蘩啵渲械趇类样本可记为な鉏歹, 协方差矩阵的迭代算法,因此必须对协方差矩阵
鋓淅嗑滴W睿谎炯疞的总均值为 s()
iS|sb1
. ^ 飞五一,,⋯,志,若￡时刻输入样本为
寺∑∑币晃梢晃 x()
踠 J=1
. 上
.
fi(1)xi(1)+()