决策树--(PPT66页).ppt

该【决策树--(PPT66页) 】是由【zhangkuan1439】上传分享，文档一共【67】页，该文档可以免费在线阅读，需要了解更多关于【决策树--(PPT66页) 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。决策树
根据李峰等人的PPT改编
课件主要依据李航编写的《统计学习方法》编制,清华大学出版社
另一本参考书:《数据挖掘与数学建模》国防工业出版社2010
决策树







-then规则



什么是决策树树?
(决策树)分分类决策树树模型是一种种描述对实例例进行分类的的树形结构。。决策树由结点和有向边组成。结点有有两种类型::内部结点和叶节点。内部结点表表示一个特征征或属性,叶叶节点表示一一个类。
决策树学习算算法的特点
决策树学习算算法的最大优点是,它可以自自学习。在学学习的过程中中,不需要使使用者了解过过多背景知识识,只需要对对训练实例进进行较好的标标注,就能够够进行学习。。
显然,它属于于有监督学习。
从一类无序、、无规则的事事物(概念)中推理出决策策树表示的分类规则。
决策树学习的的主要算法
建立决策树的的关键,即在当前状状态下选择哪个属性性作为分类依据据。根据不同同的目标函数数,建立决策策树主要有一一下三种算法法。
ID3(-1975)核心:信息息熵
—ID3的改进,核心心:信息增益益比
CART(Breiman-1984),核心:基尼指指数

决策树分类的思想想类似于找对象。。现想象一个女孩孩的母亲要给这个个女孩介绍男朋友友,于是有了下面面的对话:
女儿:多大年纪了了?(年龄)母亲:26。女儿:长的帅不帅帅?(长相)母亲:挺帅的。女儿:收入高不??(收入情况)母亲:不算很高,,中等情况。女儿:是公务员不不?(是否公务员)母亲:是,在税务务局上班呢。女儿:那好,我去去见见。
-then规则
由决策树的根结点点到叶结点的每一条路径构建一一条规则;
路径上内部结点的的特征对应着规则则的条件,而叶结点的类对应着着规则的结论。
If-then规则集合的一重要要性质:互斥并且完备

将特征空间划分为为互不相交的单元或区域,并并在每个单元定义一个个类的概率分布就构成了一个条件件概率分布。
各叶结点(单元)上的条件概率往往往偏向某一个类,,即属于某一类的的概率较大,决策策树分类时将该结结点的实例强行分分到条件概率大的的那一类去。