聚类分析、判别分析、主成分分析、因子分析.docx

主成分分析与因子分析的区别
目的不同： 因子分析把诸多变量看成由对每一个变量都有作用的一些公共因 子和仅对某一个变量有作用的特殊因子线性组合而成，因此就是要从数据中控查 出对变量起解释作用的公共因子和特殊因子以及其组合系数；主成分分析只是主成分分析与因子分析的区别
目的不同： 因子分析把诸多变量看成由对每一个变量都有作用的一些公共因 子和仅对某一个变量有作用的特殊因子线性组合而成，因此就是要从数据中控查 出对变量起解释作用的公共因子和特殊因子以及其组合系数；主成分分析只是从 空间生成的角度寻找能解释诸多变量变异的绝大部分的几组彼此不相关的新变 量（主成分）。
线性表示方向不同： 因子分析是把变量表示成各公因子的线性组合；而主成 分分析中则是把主成分表示成各变量的线性组合。
假设条件不同：主成分分析中不需要有假设；因子分析的假设包括：各个公 共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关。
提取主因子的方法不同：因子分析抽取主因子不仅有主成分法，还有极大似 然法，主轴因子法，基于这些方法得到的结果也不同；主成分只能用主成分法抽 取。
主成分与因子的变化：当给定的协方差矩阵或者相关矩阵的特征值唯一时， 主成分一般是固定的；而因子分析中因子不是固定的，可以旋转得到不同的因子。
因子数量与主成分的数量：在因子分析中，因子个数需要分析者指定（SPSS 根据一定的条件自动设定，只要是特征值大于 1 的因子主可进入分析），指定的 因子数量不同而结果也不同；在主成分分析中，成分的数量是一定的，一般有几 个变量就有几个主成分（只是主成分所解释的信息量不等）。
功能：和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子， 在解释方面更加有优势；而如果想把现有的变量变成少数几个新的变量（新的变 量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。 当然，这种情况也可以使用因子得分做到，所以这种区分不是绝对的。
1 、聚类分析
基本原理：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别， 使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类 间元素的同质性最大化和类与类间元素的异质性最大化。
常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法， 加入法。
注意事项：，K-均值法只能对记录进 行分类；
K-均值法要求分析人员事先知道样品分为多少类；
对变量的多元正态性，方差齐性等要求较高。
应用领域：细分市场，消费行为划分，设计抽样方案等
2、判别分析
基本原理：从已知的各种分类情况中总结规律（训练出判别函数），当新样品进 入时，判断其与判别函数之间的相似程度（概率最大，距离最近，离差最小等判 别准则）。
常用判别方法：最大似然法，距离判别法， Fisher 判别法， Bayes 判别法，逐步 判别法等。
注意事项： 1. 判别分析的基本条件：分组类型在两组以上，解释变量必须是可 测的；
每个解释变量不能是其它解释变量的线性组合（比如出现多重 共线性情况时，判别权重会出现问题）；
各解释变量之间服从多元正态分布（不符合时，可使用
Logistic 回归替代），且各组解释变量的协方差矩阵相等（各组协方方