部分统计学习基础.ppt

该【部分统计学习基础 】是由【mxh2875】上传分享，文档一共【45】页，该文档可以免费在线阅读，需要了解更多关于【部分统计学习基础 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。有监督学习概述
[ESL] Chp2
回归分析
[ESL] Chp3
[Wasserman] Chp13
模型评估与选择
[ESL] Chp7/8
[ESL] Trevor Hastie, Robert Tibshirani, Jerome Friedman 著 “The Elements of Statistical Leanring”，范明，柴玉梅，昝红英译《统计学习基础—数据挖掘、推理与预测》， 电子工业出版社，2004
第三部分：统计学习基础
目标：
单击此处添加文本
然后对每个数据加上高斯噪声，
单击此处添加文本
通过最小化残差的平方和（RSS）
单击此处添加文本
例：
单击此处添加文本
拟合 f
单击此处添加文本
03
02
04
01
05
例：一个回归例子
contents
例：一个回归例子（续）
1阶多项式拟合
3阶多项式拟合
拟合得到的曲线
样本数据点
例：一个回归例子（续）
10阶多项式拟合
训练正确率和测试误差
一些术语
有监督学习：
1
给定包含输入特征 和对应响应 的训练样本，学习Y与X之间的关系
2
对新的输入x，预测其响应y
3
如果输出值Y的类型是连续值：回归
4
根据公司的业绩和经济学数据，预测今后6个月的股票价格
5
根据患者血液的红外光谱，估计糖尿病患者血液中葡萄糖的含量
6
如果输出值Y为离散值：分类
7
根据数字图像，识别手写的邮政编码数据
8
根据邮件中单词和字符的比例，识别email是否为垃圾邮件
9
目标
正确预测未见过的测试样本
22%
怎样评价预测的质量
40%
理解哪些输入影响输出
38%
根据训练数据，
哲学思想
理解各种技术背后的基本思想，以知道如何和在什么情况采用这些技术
先理解比较简单的方法，以便掌握更复杂的技术
正确评价方法的性能很重要，以便知道该方法在什么情况下工作得好，在什么情况下工作得不好 [简单的方法通常和那些很华丽时髦的方法工作得一样好！]
一个例子
IR2上从未知分布产生的200点，其中类别G={绿，红}各100个点 。 我们能建立一个规则，预测将来的点的颜色的规则吗？
比较两种最简单的预测方法
线性回归
k近邻法（k - nearest neighbors, knn）
线性回归
输入p维向量，扩展成p+1维：
向量均为列向量
类别G=绿时，Y=0；否则Y=1。
Y用X的线性函数来建模
最简单、也是最常用的模型