人工智能概论-第5章 机器学习.pptx

第五章　机器学习
机器学习模型
数据准备
学习方式
实验：房价预测
模型评估
习题
机器学习模型
第五章 机器学习
1、机器学习与人类本思想：决策树模拟人类进行级联选择或决策的过程，按照属性的某个优先级依次对数据的全部属性进行判别，从而得到输入数据所对应的预测输出。
(2)基本概念：决策树包含：一个根结点、若干内部结点和叶结点。其中叶结点表示决策的结果；内部结点表示对样本某一属性判别。测试序列：从根结点到某一叶子结点的路径。
学习方式
第五章 机器学习
有监督学习
3、决策树
学习方式
第五章 机器学习
有监督学习
3、决策树
(3)决策树构造过程
首先根据某种分类规则得到最优的划分特征，计算最优特征子函数，并创建特征的划分节点，按照划分节点将数据集划分为若干部分子数据集；然后，在子数据集上重复使用判别规则，构建出新的节点，作为树的新分支；重复递归执行，直到满足递归终止条件。
学习方式
第五章 机器学习
有监督学习
3、决策树
(4)划分特征选择
合理选择其内部节点所对应的样本属性，使得节点所对应样本子集中的样本尽可能多地属于同一类别，即具有尽可能高的纯度。特征选择的准则主要有以下三种：信息增益，信息增益比，基尼指数。
学习方式
第五章 机器学习
有监督学习
3、支持向量机
支持向量机（Support Vector Machine, SVM）是一类按有监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最优分类面。SVM是Cortes和Vapnik于1995年首先提出的，在解决小样本、非线性及高维模式识别中表现出许多特有的优势。传统的统计模式识别方法在进行机器学习时，强调经验风险最小化。而单纯的经验风险最小化会产生“过拟合问题”，其泛化力较差。根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。
学习方式
第五章 机器学习
有监督学习
3、支持向量机
SVM基本思想可用图5-15来说明。图中实心点和空心点代表两类样本，H为它们之间的分类面： ，H1，H2分别为过各类中离分类面最近的样本且平行于分类面的超平面，它们之间的距离2/‖W‖叫做分类间隔。
学习方式
第五章 机器学习
无监督学习
1、聚类
（1）K-means聚类
K-means是最简单的聚类算法之一，但是运用十分广泛。K-means的计算方法如下：Step1：随机选取k个中心点；Step2：遍历所有数据，将每个数据划分到最近的中心点中；Step3：计算每个聚类的平均值，并作为新的中心点；Step4：重复Step2-3，直到这k个中线点不再变化（收敛了），或执行了足够多的迭代。
学习方式
第五章 机器学习
无监督学习
1、聚类
（2）层次聚类
层次聚类(Hierarchical Clustering，HC)通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点。创建聚类树有自下而上合并和自上而下分裂两种方法。
学习方式
第五章 机器学习
无监督学习
2、关联分析
（1）模型原理
学习方式
第五章 机器学习
无监督学习
2、关联分析
（2）基本术语：
项；
项集；
事务；
支持度；
置信度；
k频繁项集。
学习方式
第五章 机器学习
无监督学习
2、关联分析
（3）Apriori算法
连接步：为找出Lk(频繁k项集)，通过Lk-1与自身连接，产生候选k项集，该候选项集记作Ck；其中Lk-1的元素是可连接的。剪枝步：Ck是Lk的超集，即它的成员可以是也可以不是频繁的，但所有的频繁项集都包含在Ck中。扫描数据库，确定Ck中每一个候选的计数，从而确定Lk(计数值不小于最小支持度计数的所有候选是频繁的，从而属于Lk)。然而，Ck可能很大，这样所涉及的计算量就很大。为压缩Ck，使用Apriori性质：任何非频繁的(k-1)项集都不可能是频繁k项集的子集。因此，如果一个候选k项集的(k-1)项集不在Lk中，则该候选项也不可能是频繁的，