多分类决策树r语言 R语言构造决策树.doc

多分类决策树r语言R语言构造决策树
注：
为了限制过拟合，可以限制生长，修剪树枝
监督机器学习中会出现的问题：
决策树会用到基尼指数，信息增益等知识点，
其他分类器：KNN和随机森林*［=
Misclassificationerrorrate:=5/38
>plot(mytree)
>text(mytree,pretty=0,cex=)
>mytree<-tree(是否预定~性别+年龄+价格敏感+是否连住+提各种问题,data=data)
>summary(mytree)
3.
Classificationtree:
tree(formula=是否预定~性别+年龄+价格敏感+是否连住+
提各种问题,data=data)
Variablesactuallyusedintreeconstruction:
[1]"是否连住""性别""价格敏感"
Numberofterminalnodes:4
Residualmeandeviance:=
Misclassificationerrorrate:=5/38
>plot(mytree)
>text(mytree,pretty=0,cex=)
>pred_mytree<-predict(mytree,test_set,type='class')
>pred_mytree<-predict(mytree,test_set,type='class')
>pred_mytree
[1]是是否是是是是是是是否
Levels:否是
>summary(pred_mytree)
否是
29
>table(pred_mytree,test_set[,6])
23.
pred_mytree否是
否11
是27
>table(pred_mytree)
pred_mytree
否是
29
>table(test_set[,6])
32.
否是
38
>mean(pred_mytree!=test_set[,6])
[1]
>
%，有所降低
下面通过修剪树来提高模型的性能，然后使用训练集
>(2345)
>prune_mytree<-(mytree,FUN=)
>prune_mytree
$size
[1]4321
44.
$dev
[1]76612
47.
$k
[1]-Inf014
50.
$method
[1]"misclass"
53.
attr(,"class")
[1]"prune"""
>plot(prune_mytree$size,prune_mytree$dev,type='b')
树的偏差与size的关系图
通过绘制树的偏差与size的关系图，可以看出，最小误差出现在size=3的地方，，将修剪树size设为3,并重新计算性能
>prune_model<-(mytree,best=3)