10种机器学习算法介绍.ppt

10种机器学习算法介绍.ppt机器学习算法介绍
基本概念分类
监督式学习
多轮学习以达到目的:实现回归或分类
非监督式学习
特定方法实现聚类。(由于目的性不明确,所以一般没有多轮)
强化学习
不断学习,永无止境
分类算法
适用因变量为离散变量
回归算法
适用因变量为连续变量
聚类和分类的差别
聚类:无限种类别可能
分类:有限种类别可能
监督式学习
工作机制
这个算法由一个目标变量或结果变量(或因变量)组成。
此变量由已知的一系列预示变量(自变量)预测而来。
利用这一系列变量,我们生成一个将输入值映射到期望输出值的函数。
这个训练过程会一直持续,直到模型在训练数据上获得期望的精确度。
例子
线性回归,决策树,SVM,K –近邻算法,逻辑回归等
非监督式学习
工作机制
没有任何目标变量或结果变量要预测或估计。
用在不同的组内聚类分析。

例子
关联算法, K –均值算法
强化学习
工作机制
训练机器进行决策。
机器被放在一个能让它通过反复试错来训练自己的环境中。
机器从过去的经验中进行学习,并且尝试利用了解最透彻的知识作出精确的判断。
例子
马尔可夫决策过程
十大机器学习算法
1、线性回归
2、逻辑回归
3、决策树
4、SVM
5、朴素贝叶斯
6、k-Means算法
7、kNN算法
8、Apriori算法
9、最大期望算法(EM)
10、PageRank
监督式学习与非监督式学习的差别
监督式学习方法,要求:
事先明确知道各个类别的信息
所有待分类项都有一个类别与之对应
如果不能满足上述两个条件(例如有海量数据),则需适用聚类算法,即非监督式学习。
监督式学习
非监督式学习
线性回归
逻辑回归
决策树
朴素贝叶斯
SVM
KNN
K-means
Apriori
EM
PageRank
线性回归
适用场景
根据连续变量估计实际数值(房价、呼叫次数、总销售额等)。
原理
可通过拟合最佳直线来建立自变量和因变量的关系。拟合结果是条直线 Y= a *X + b:其中Y是因变量,a是斜率,x是自变量,b是截距
最佳直线叫做回归线。系数 a 和 b 通过最小二乘法获得。
Python代码
from sklearn import linear_model
x_train=input_variables_values_training_datasets
y_train=target_variables_values_training_datasets
x_test=input_variables_values_test_datasets
linear = ()
(x_train, y_train)
(x_train, y_train)
线性回归
针对线性回归容易出现欠拟合的问题,采取局部加权线性回归。
在该算法中,赋予预测点附近每一个点以一定的权值,,即近点的权值大,远点的权值小,k为波长参数,控制了权值随距离下降的速度,越大下降的越快。
线性回归
针对数据的特征比样本点多的问题:
一、岭回归
二、前向逐步回归