线性回归与分类.doc

线性回归与分类.doc线性回归与分类
线性回归与分类
1 / 6
线性回归与分类
线性回归与线性分类
线性回归
在温洲的一个房产网（）我弄到了下面的一些数据：
现在我们以横轴表示房子面积，纵轴表示房子价格，画到坐标轴上：
现在问题来了， 我想要一套 200 平方米的房子价格大概是多少呢这时在数据表中我又找不到到对应的数据。那么这时就要做线性回归分析了。如下图找到下面这样的一条直线，使图中的所有点到直线的距离最小（即使误差最小）。
下面我们用数学语言来表达“使图中的所有点到直线的距离最小”这句话。
图中的（面积，价格）可以用坐标点 (Xi,Yi)表示。数学中的直线方程解析式为：
y=kx+b,现在我们用机器学习里的表达方式如下 :
y=b+wx （在机器学面参数）
这样的表达还不够统一，不方便计算，写成下式：
y’=w’x’,(w ’=[1,w] x’=[1,x]).
现在我们继续把上面改写成向量形式， 以便于推广到 N 维形式，改写成正式：
“使图中的所有点到直线的距离最小”用数学的语言描述如下：
线性回归与分类
线性回归与分类
2 / 6
线性回归与分类
上式叫误差平方和式，写成向量形式如下：
线性回归与分类
线性回归与分类
6 / 6
线性回归与分类
我们的目标是使 J(W)最小，上式对 W 求导得：
W 就是我们要求的结果了。把 200 平方米的代入式（ 1）就得到我们的估计
房价了
这里的解有一个陷阱，不知道大家知道了没有。在分类问题中，我会提出一种要求更低的解决算法，即著名的感知机算法。
线性分类
什么是分类呢下面我列出一些实际的分类任务如下：
识别图像中的人脸，非人脸。
识别正常邮件，垃圾邮件。
识别信贷中的正常行为，欺诈行为。
入侵检测中的系统的的 正常访问 跟非法访问。
一些符号说明如下：
线性回归与分类
线性回归与分类
4 / 6
线性回归与分类
以下图的两类分类问题为例，样本点的类别是已知的，并且两类样本点是线性可分的，
线性回归与分类
线性回归与分类
6 / 6
线性回归与分类