机器学习算法优点改进总结.doc

Lecture1IntroductiontoSupervisedLearning(1)ExpectatinMaximization(EM)Algorithm(期望值最大)(2)LinearRegressionAlgorithm(线性回归)(3)LocalWeightedRegression(局部加权回归)(4)k-NearestNeighborAlgorithmforRegression(回归k近邻)(5)LinearClassifier(线性分类)(6)PerceptronAlgorithm(线性分类)(7)FisherDiscriminantAnalysisorLinearDiscriminantAnalysis(LDA)(8)k-NNAlgorithmforClassifier(分类k近邻)(9)BayesianDecisionMethod(贝叶斯决策方法)Lecture2Feed-worksandBPAlgorithm(1)MultilayerPerceptron(多层感知器)(2)BPAlgorithmLecture3RudimentsofSupportVectorMachine(1)SupportVectorMachine(支持向量机)(此算法是重点,必考题)此处有一道必考题Lecture4IntroductiontoDecisionRuleMining(1)DecisionTreeAlgorithm(2)ID3Algorithm(3)(4)粗糙集……Lecture5ClassifierAssessmentandEnsembleMethodsBaggingBootingAdaboostingLecture6IntroductiontoAssociationRuleMining(1)AprioriAlgorithms(2)FP-treeAlgorithmsLecture7IntroductiontoCusteringAnalysis(1)k-meansAlgorithms(2)fuzzyc-meansAlgorithms(3)k-modeAlgorithms(4)DBSCANAlgorithmsLecture8BasicsofFeatureSelection(1)ReliefAlgorithms(2)ReliefFAlgorithms(3)mRMRAlgorithms最小冗余最大相关算法(4)attributereductionAlgorithms比较了几种分类算法性质。(以下两个表格来自两篇该领域经典论文)Lecture1IntroductiontoSupervisedLearning(1)ExpectatinMaximization(EM)Algorithm(期望值最大)①算法思想:EM算法又称期望最大化算法,是对参数极大似然估计的一种迭代优化策略,它是一种可以从非完整的数据集中对参数进行极大似然估计的算法,应用于缺损数据,截尾数据,带有噪声的非完整数据。最大期望算法经过两个步骤交替进行计算:第一步计算期望(E):也就是将隐藏的变量对象能够观察到的一样包含在内,从而计算最大似然的期望值;另外一步是最大化(M),也就是最大化在E步上找到的最大似然期望值,从而计算参数的似然估计。M步上找到的参数然后用于另一个E步计算。重复上面2步直至收敛。②优点:1)M步仅涉及完全数据极大似然,通常计算比较简单 2)收敛是稳定的,因为每次迭代的似然函数是不断增加的。③缺点:1)表现在对缺失数据较多或是多维高斯分布的情形下,计算量大,收敛速度较慢。2)对于某些特殊的模型,要计算算法中的M步,即完成对似然函数的估计是比较困难的。3)在某些情况下,要获得EM算法中E步的期望显式是非常困难的。4)EM算法的收敛速度,非常依赖初始值的设置,设置不当,计算代价相当大。5)EM算法中的M-Step依然是采用求导函数的方法,所以它找到的是极值点,即局部最优解,而不一定是全局最优解。④改进:针对1)改进:扩大参数空间来加快收敛针对2)改进:ECM算法,该算法通过在M步构建计算比较简单的小循环对EM算法进行了改进,从而使期望函数极大化更加容易和有效,从而解决这一问题。针对3)改进:MCEM算法,将E步积分求期望用蒙特卡洛模拟方法来实现,使得E步求期望更容易实现。针对4)初始值的获取可以通过k-means算法,层次聚类算法或是数据数据进行随机分割,然后重复EM效果进行初始点选择。针对5)结合遗传算法的全局搜索能力,扩大EM算法的搜索空间,有效降低EM算法对初始值的依赖度,改善局部最优值的缺陷。(2)LinearRegressionAlgorithm(线性回归)①算法思想:线性回归(LinearRegression)是利用称为线性