回归分析解析(线性回归、逻辑回归、多项式回归、岭回归、lasso回归).pdf

回归学习
School of Information and Mathematics
2
of 内容概要
36
1、线性回归
2、多元线性回归
3、代价函数
4、逻辑回归
3
of 回归学习
36
 回归属于有监督学习中的一种方法。该方法
的核心思想是从连续型统计数据中得到数学
模型，然后将该数学模型用于预测或者分类。
该方法处理的数据可以是多维的。
 回归是由达尔文的表兄弟Francis Galton发明的。Galton于1877年完成了第一
次回归预测，目的是根据上一代豌豆的种子（双亲）的尺寸来预测下一代豌豆
种子（孩子）的尺寸（身高）。Galton在大量对象上应用了回归分析，甚至包
括人的身高。他得到的结论是：如果双亲的高度比平均高度高，他们的子女也
倾向于平均身高但尚不及双亲，这里就可以表述为：孩子的身高向着平均身高
回归。Galton在多项研究上都注意到了这一点，并将此研究方法称为回归。
4
of 线性回归介绍
36
 例子
假如你刚刚搬到学校，需要知道在你学校周围的房价，设计
一个数据回归程序。

距离学校的距 卧室数目 房租
离
1 1600
2 2000
2 2100
1 1500
…
1 ?
?
5
of 线性回归介绍
36
 例子
假如你刚刚搬到学校，需要知道在你学校周围的房价，设
计一个数据回归程序。

房
房
租
租

房间
距离
6
of 回归学习
36
问题引入
假设有一个房屋销售的数据如下： 如果来了一个新的面积，假设在销售价钱的
记录中没有的，怎么处理？
面积(m^2) 销售价钱

（万元）
解决方法：用一条曲线去尽量准的拟合这些
数据，然后如果有新的输入过来，我们可以
123 250 在将曲线上这个点对应的值返回。如果用一
条直线去拟合，可能是下面的样