主成分分析因子分析聚类分析.docx

主成分分析
设题目中m个有一定相关关系的变量表示原始指标，记为x1，x2,..,xm，样本数为n，则观测样本数矩阵为：
为了用原始指标的线性组合表示主成分，将原始数据进行标准化处理：
i＝1，2，…，n；k＝1，2，…，m
选取累计贡献率已经达到85％以上的特征值λ1= ,λ2= ,λ3= ,….作为主成分。计算各变量x1，x2，……，x9在各主成分上的载荷得到主成分载荷矩阵如下表所示：
Z1
Z2
Z3
主成分对Xj的
总方差贡献率主成分载荷即Zi与Xj的相关系数:
其中所选的m个主成分对Xj的总方差贡献率为：
(%)
X1
X2
X3
X4
X5
X6
X7
...
因子分析
计算原始数据的相关矩阵，，则不适合进行因子分析。我们只选择有较强相关性的变量作为因子分析的原始变量。
将p个可观测变量xi(i=1,2,..,p)标准化得到新变量Xi(i=1,2,..,p)以消除变量间在数量级和量纲上的不同。
将标准化后的变量表示成m+p个不可观测的随机量Fj j = 1,2,…, m，εi(i=1,2…,p)的线性组合，即：
Xi= μi+ai1F1 + ai2F2 +…+ aimFm +εi 作出如下假设：
(1) EX=μ=(μ1,μ2,…,μP)' , Dx=Σ （方便处理）。
(2) 各公共因子都是均值为0，方差为1的不相关的正态随机变量，其协方差矩阵为单位阵Im，即 F ~ N(0, Im) 。
(3) E(ε)=0，且即各个特殊因子不相关，各个特殊因子与所有公共因子不相关。
用矩阵表示因子模型可得：
那么，对标准化之后的数据Xi，有EXi=0 , DXi=1，那么有Xi和Fi的相关系数ρij=aij。
m 个公共因子对第i个变量方差的贡献称为第i 共同度，记为
h2=ai12+ai22+…+aim2
两边求方差得：从而第i个变量的方差有如下分解
DXi=j=1maij2DFj=hi2+σi2 (i=1,2,…,p)
公共因子Fj对所有变量Xi(i=1,2,..,p)所提供的总影响称为Fj的方差贡献，记为：
(i = 1,2,…, p )，(1)
其中 Fj( j = 1,2,…, m)对 X 的每个分量都起作用，称为公共因子，它们的含义要根据具体问题来解释，εi (i = 1,2,.., p) 仅与变量zi有关，称为特殊因子，系数aij (i=1, 2,.., p , j=1,2,…, m)称为因子载荷，A=(aij)称为载荷矩阵。
为得到载荷矩阵[在这里用主成分法]，先求出标准化数据的相关矩阵如下：
式中：，
j＝1，2，…，m
计算得特征根与各因子的贡献见下表：
公共因子
特征值
贡献率(%)
累积贡献率(%)
F1
F2
F3
F4
...
前m个因子包含的数据信息总量（即其累积贡献率）为**